详解一种用django_cache实现分布式锁的方式

作者:知鱼君 时间:2023-11-08 03:50:45 

问题背景

在项目开发过程中,我遇到一个需求:对于某条记录,一个用户对它进行操作时会持续比较久,希望在一个用户的操作期间,不允许有另一个用户操作它,否容易会出现混乱。

在与同事们讨论后,想通过加锁的方式,起初想用redis锁,但这样会为项目增加别的依赖,因此转而使用django-cache的缓存数据库,来实现该功能。

资料查找

基于缓存实现分布式锁,在网络上查找了实现方式,大概可以总结为以下3种:

第一种锁命令INCR

这种加锁的思路是, key 不存在,那么 key 的值会先被初始化为 0 ,然后再执行 INCR 操作进行加一。 然后其它用户在执行 INCR 操作进行加一时,如果返回的数大于 1 ,说明这个锁正在被使用当中。

第二种锁命令SETNX

这种加锁的思路是,如果 key 不存在,将 key 设置为 value 如果 key 已存在,则 SETNX 不做任何动作

第三种锁命令SET

上面两种方法都有一个问题,会发现,都需要设置 key 过期。那么为什么要设置key过期呢?如果请求执行因为某些原因意外退出了,导致创建了锁但是没有删除锁,那么这个锁将一直存在,以至于以后缓存再也得不到更新。于是乎我们需要给锁加一个过期时间以防不测。

在实际编写中,我综合了第二种和第三种方式,即用键名来设置锁,同时设置了过期时间,以防长时间占用。

另外,关于如何使用django-cache去使用数据库缓存,相关的API整理如下:


from django.core.cache import caches
# 设置锁和超时时间
cache.set('my_key', 'Initial value', 60)
# 获取锁
cache.get('my_key')
# 更新锁
cache.add('add_key', 'New value')

代码编写

在经过多次的迭代,并且对比了网上的各路写法后,我结合django-cache的特性,最终总结了一套较为简洁的写法。

首先是一个CacheLock的类,初始化方法里可以传执行超时时间,和拿锁等待的时间。CacheLock类的主要方法有两个,一个是拿锁的方法,一个是释放锁的方法。

拿锁的方法中,键名根据操作的具体对象来定,键值为uuid值,超时时间默认为60s。一旦发现能拿到锁,则返回uuid值。

释放锁的方法中,首先比较键值和uuid值是否一致,一致则释放,避免因超时情况导致把其他的正在操作的锁给释放掉。


class CacheLock(object):
def __init__(self, expires=60, wait_timeout=0):
self.cache = cache
self.expires = expires # 函数执行超时时间
self.wait_timeout = wait_timeout # 拿锁等待超时时间

def get_lock(self, lock_key):
# 获取cache锁
wait_timeout = self.wait_timeout
identifier = uuid.uuid4()
while wait_timeout >= 0:
 if self.cache.add(lock_key, identifier, self.expires):
 return identifier
 wait_timeout -= 1
 time.sleep(1)
raise LockTimeout({'msg': '当前有其他用户正在编辑该采集配置,请稍后重试'})

def release_lock(self, lock_key, identifier):
# 释放cache锁
lock_value = self.cache.get(lock_key)
if lock_value == identifier:
 self.cache.delete(lock_key)

另外,将缓存锁写成一个装饰器,对需要加锁的地方,添加上该装饰器,则可以很轻松地实现锁功能。


def lock(cache_lock):
def my_decorator(func):
def wrapper(*args, **kwargs):
 lock_key = 'bk_monitor:lock:xxx' # 具体的lock_key要根据调用时传的参数而定
 identifier = cache_lock.get_lock(lock_key)
 try:
 return func(*args, **kwargs)
 finally:
 cache_lock.release_lock(lock_key, identifier)
return wrapper
return my_decorator

再举一个实际调用中的例子:


@lock(CacheLock())
def f():
pass

另外,我在设置缓存的key名的时候,会根据函数的具体操作对象,从而给装饰器传递相应的参数,这里就不再举例了。

优化改进

当然,实现以上功能需求一定还有别的更好的方式,关于锁的实现,网络上有很多别的方式,比如基于zookeeper实现分布式锁、基于数据库实现分布式锁等等,它们在可靠性或性能方面都各有长短,要根据具体场景进行取舍,所以还有非常多值得研究的地方。

我这里也只是抛砖引玉,欢迎拍砖~

来源:https://juejin.im/post/5d69e7136fb9a06acc009c1c

标签:django,cache,分布式锁
0
投稿

猜你喜欢

  • Python爬虫获取基金基本信息

    2022-01-06 02:22:12
  • Python 字符串操作详情

    2023-02-04 19:03:59
  • GO语言中接口和接口型函数的具体使用

    2023-06-18 09:08:40
  • SQL Server 远程更新目标表数据的存储过程

    2024-01-21 07:38:04
  • Google开源的Python格式化工具YAPF的安装和使用教程

    2023-02-02 12:32:16
  • Java使用正则表达式截取重复出现的XML字符串功能示例

    2023-02-04 20:44:51
  • Python+OpenCV实战之利用 K-Means 聚类进行色彩量化

    2021-01-02 09:20:27
  • matplotlib调整子图间距,调整整体空白的方法

    2021-12-17 15:06:58
  • 全面了解CSS内置颜色(color)值

    2008-11-19 12:26:00
  • pandas中的数据去重处理的实现方法

    2022-05-13 23:28:50
  • Django实现微信小程序的登录验证功能并维护登录态

    2022-03-14 22:56:48
  • pymysql模块的操作实例

    2024-01-28 16:27:45
  • python3.9实现pyinstaller打包python文件成exe

    2022-10-28 18:27:35
  • JS实现淡入淡出图片效果的方法分析

    2023-08-24 08:45:44
  • 浅析阿里巴巴前端招聘考题

    2008-01-19 09:52:00
  • python GUI库图形界面开发之PyQt5选项卡控件QTabWidget详细使用方法与实例

    2022-02-07 23:28:25
  • 解决pycharm中opencv-python导入cv2后无法自动补全的问题(不用作任何文件上的修改)

    2023-08-24 00:25:21
  • python中string模块各属性以及函数的用法介绍

    2023-12-07 13:49:47
  • vue中el-table格式化el-table-column内容的三种方法

    2024-04-27 16:10:39
  • AJAX实战实现级联选择

    2009-08-21 12:27:00
  • asp之家 网络编程 m.aspxhome.com