python3使用python-redis-lock解决并发计算问题

作者:海洋的渔夫 时间:2021-05-09 16:04:18 

需求

我在最近的一个任务中,存在一个redis高并发计算多个客户端接收预警信息的时长问题。

模型是首先模拟多个客户端连接预警服务器集群,然后向预警服务集群发送告警信息。随后预警服务集群将会向客户端推送告警信息。

此时,我记录了发送告警至预警集群的时间,并且在客户端还会记录接收到告警的时间。

我将这个时间都会记录到redis中,那么此时就会有一个问题,当多个客户端抢占式往redis 读取数据,计算,设置数据,这个过程是会被相互覆盖的。

python3使用python-redis-lock解决并发计算问题

可以从上面的截图来看,多个不同的客户端读取redis的数据,大部分读取到了同一个数据,导致计算错误。

导致问题的示意图如下:

python3使用python-redis-lock解决并发计算问题

为了解决这个问题,则可以编写一个redis的锁,用来控制数据的并发读取以及写入。
在python redis库默认只有乐观锁的一种写法,在这里我再推荐使用一个库python-redis-lock,使用这个库对redis多个客户端并发的情况加锁,真的很方便。
下面来看看怎么使用。

python-redis-lock

https://pypi.org/project/python-redis-lock/

在使用这个库之前,需要安装如下:


pip install python-redis-lock

使用锁的示例:


lock = redis_lock.Lock(conn, "name-of-the-lock")
if lock.acquire(blocking=False):
   print("Got the lock.")
   lock.release()
else:
   print("Someone else has the lock.")

上面是单独设置锁的方式,还可以单独设置所有redis的操作加入锁。


# On application start/restart
import redis_lock
redis_lock.reset_all(redis_client)

修改业务代码,增加lock操作

1. 首先导入redis_lock


import redis_lock

2.将redis连接的客户端传入lock中,并设置lock的名称


# 设置redis连接
self.conn = redis.Redis(host='127.0.0.1', port=6379, decode_responses=True, db=3)

# 设置redis锁
self.lock = redis_lock.Lock(self.conn, "redis-lock")

3.将业务读取、设置redis的部分加入锁


while True:
   # 设置redis锁,操作redis
   if self.lock.acquire(blocking=False):
       print("Got the lock.")
       # 获取lock,执行业务处理
       # 获取当前redis钟记录的客户端接收到告警的总时长
       recv_time_sum_count_clients = self.conn.get(recv_time_sum_count_clients_key)
       if recv_time_sum_count_clients is None:
           recv_time_sum_count_clients = "0:0"

# 获取当前的统计数据
       recv_time_sum, count_clients = recv_time_sum_count_clients.split(":")

# 计算告警接收总时长
       recv_time_sum = float(recv_time_sum) + recv_time
       # 计算收到预警的客户端数量
       count_clients = int(count_clients) + 1

# 写入redis中
       recv_time_sum_count_clients = "%s:%s" % (str(recv_time_sum), str(count_clients))
       self.conn.set(recv_time_sum_count_clients_key, recv_time_sum_count_clients)

print("user_id = %s, 计算平均时间成功, "
             "recv_time_sum = %s, count_clients = %s \n" %
             (self.user_id, recv_time_sum, count_clients))

# 释放lock
       self.lock.release()

# 退出循环
       break
   else:
       print("Someone else has the lock.")

在客户端的代码中设置了锁之后,再来执行一下,看看有无抢占读取redis数据的情况,如下:

python3使用python-redis-lock解决并发计算问题

设置了锁之后,客户端由于并发导致redis数据读取、设置错误的情况就可以避免了。

并且这个库还可以使用到Django框架中,更多细节读者可以到该库Github中细细查阅,本篇章就不介绍了,哈哈。

来源:https://blog.csdn.net/u012887259/article/details/103870425

标签:python-redis-lock,并发
0
投稿

猜你喜欢

  • python中PS 图像调整算法原理之亮度调整

    2021-02-09 17:51:01
  • Python读写Excel文件的实例

    2023-03-05 03:25:10
  • Python中plt.imshow(image)无法显示图片的解决

    2022-01-12 15:33:04
  • 详解如何在Vue3使用<script lang=“ts“ setup>语法糖

    2024-04-27 16:00:29
  • JS实现简单的抽奖转盘效果示例

    2024-04-22 22:29:39
  • Python流程控制语句详解

    2022-03-01 22:36:37
  • 制作Dreamweaver活动菜单条

    2008-10-03 20:59:00
  • CSS框架的利与弊

    2007-12-06 12:59:00
  • wxPython电子表格功能wx.grid实例教程

    2023-02-16 13:12:22
  • 实例讲解启动mysql server失败的解决方法

    2008-12-26 17:27:00
  • VS CODE 使用SVN插件的方法步骤

    2023-05-22 10:39:33
  • Python3.7+tkinter实现查询界面功能

    2023-05-16 18:24:54
  • python 实现GUI(图形用户界面)编程详解

    2023-10-05 15:11:34
  • mysql installer community 5.7.16安装详细教程

    2024-01-17 04:55:04
  • 解读python正则表达式括号问题

    2023-08-10 10:22:19
  • Python3查找列表中重复元素的个数的3种方法详解

    2022-08-01 16:36:07
  • python实现简单图片物体标注工具

    2021-09-07 21:31:50
  • 细谈Mysql的存储过程和存储函数

    2024-01-23 11:05:24
  • MySQL优化之使用连接(join)代替子查询

    2024-01-25 18:26:33
  • Python对数据进行插值和下采样的方法

    2022-06-02 03:36:41
  • asp之家 网络编程 m.aspxhome.com