Python通过Manager方式实现多个无关联进程共享数据的实现
作者:我爱学python 时间:2021-12-27 04:03:17
Python实现多进程间通信的方式有很多种,例如队列,管道等。
但是这些方式只适用于多个进程都是源于同一个父进程的情况。
如果多个进程不是源于同一个父进程,只能用共享内存,信号量等方式,但是这些方式对于复杂的数据结构,例如Queue,dict,list等,使用起来比较麻烦,不够灵活。
Manager是一种较为高级的多进程通信方式,它能支持Python支持的的任何数据结构。
它的原理是:先启动一个ManagerServer进程,这个进程是阻塞的,它监听一个socket,然后其他进程(ManagerClient)通过socket来连接到ManagerServer,实现通信。
manager.py代码,实现server和client两个类
# encoding=utf-8
__author__ = 'kevinlu1010@qq.com'
'''
进程间通信
'''
from multiprocessing.managers import BaseManager
from multiprocessing import RLock
MANAGER_PORT = 6000
MANAGER_DOMAIN = '0.0.0.0'
MANAGER_AUTH_KEY = 'aaaaaaaaaaaaaaa'
#定义一个Manager类
class InfoManager(BaseManager): pass
class DictItem():
def __init__(self, ):
self.items = dict()
def set(self, key, value):
self.items[key] = value
def get(self, key):
return self.items.get(key)
def __setitem__(self, key, value):
self.set(key, value)
#为这个manager类注册存储容器,也就是通过这个manager类实现的共享的变量,
#这个变量最好是一个类实例,自己定义的或者python自动的类的实例都可以
#这里不能把d改成dict(),因为Client那边执行d['keyi']='value'的时候会报错:d这个变量不能修改
d = DictItem()
lock = RLock()
InfoManager.register('dict', callable=lambda: d)
InfoManager.register('open_qq_login_lock', callable=lambda: lock)
class ManagerServer():
'''
multiprocess Manager服务类
'''
def __init__(self, domain, port, auth_key):
self.domain = domain
self.port = port
self.auth_key = auth_key
def start_manager_server(self):
self.queue_manager = InfoManager(address=('', self.port), authkey=self.auth_key)
# self.dict = self.queue_manager.dict()
self.server = self.queue_manager.get_server()
def run(self):
self.start_manager_server()
self.server.serve_forever()
def stop(self):
self.server.shutdown()
self.is_stop = 1
class ManagerClient():
'''
访问mutiprocess Manager的类
'''
def __init__(self, domain, port, auth_key):
self.domain = domain
self.port = port
self.auth_key = auth_key
# self.get_share_dict()
self.info_manager = InfoManager(address=(self.domain, self.port), authkey=self.auth_key)
self.info_manager.connect()
def get_dict(self):
# self.dict = m.dict()
self.dict = self.info_manager.dict()
return self.dict
def get_open_qq_login_lock(self):
self.open_qq_login_lock = self.info_manager.open_qq_login_lock()
return self.open_qq_login_lock
if __name__ == '__main__':
pass
用法
1.启动一个ManagerServer,这个进程是阻塞的
import manager
def run():
manager_server = manager.ManagerServer(manager.MANAGER_DOMAIN, manager.MANAGER_PORT, manager.MANAGER_AUTH_KEY)
manager_server.run()
if __name__ == '__main__':
run()
2.实例化一个client,获取共享的变量
# 进程间共享变量
manager_client = manager.ManagerClient(manager.MANAGER_DOMAIN, manager.MANAGER_PORT, manager.MANAGER_AUTH_KEY)
share_dict = manager_client.get_dict()
open_qq_login_lock = manager_client.get_open_qq_login_lock()
注意:
对client获取的变量修改,不会影响server那边的变量,例如server中,client1获取变量params1,把它修改为params2,server那边的数据不会修改。如果要修改server的数据,需要调用server的方法,把server那边的数据刷新。
来源:https://www.jianshu.com/p/264b67e04a2d
标签:Python,Manager,进程,共享
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
还在手动盖楼抽奖?教你用Python实现自动评论盖楼抽奖(一)
2023-12-26 21:32:41
![](https://img.aspxhome.com/file/2023/6/72076_0s.png)
python logging 日志的级别调整方式
2021-09-15 10:08:29
python编写实现抽奖器
2023-02-25 00:44:45
![](https://img.aspxhome.com/file/2023/0/71400_0s.jpg)
ASP中数据库调用中常见错误的现象和解决
2007-09-20 13:24:00
轻设计,让网站灵敏轻便的6个技巧
2009-12-07 21:26:00
![](https://img.aspxhome.com/file/UploadPic/200912/7/logo2-92s.gif)
python爬取王者荣耀全皮肤的简单实现代码
2021-03-14 16:36:43
![](https://img.aspxhome.com/file/2023/9/79509_0s.png)
python本地文件服务器实例教程
2022-07-31 16:38:17
![](https://img.aspxhome.com/file/2023/7/64607_0s.jpg)
Python下使用Trackbar实现绘图板
2023-12-11 10:13:04
![](https://img.aspxhome.com/file/2023/3/102863_0s.png)
Python操作word常见方法示例【win32com与docx模块】
2022-09-22 13:12:33
Jsp+Servlet实现简单登录注册查询
2023-07-15 18:08:08
![](https://img.aspxhome.com/file/2023/4/97884_0s.png)
vscode配置anaconda3的方法步骤
2023-11-05 16:45:02
![](https://img.aspxhome.com/file/2023/3/114613_0s.png)
Python实现绘制圣诞树和烟花的示例代码
2022-03-22 16:22:20
![](https://img.aspxhome.com/file/2023/3/66423_0s.png)
python 读写、创建 文件的方法(必看)
2023-08-07 11:37:40
mac 安装python网络请求包requests方法
2023-08-05 09:01:41
![](https://img.aspxhome.com/file/2023/9/100769_0s.jpg)
MySQL乱码问题深层分析
2009-03-09 14:53:00
aws 通过boto3 python脚本打pach的实现方法
2021-09-14 23:33:19
Django实现WebSocket在线聊天室功能(channels库)
2023-04-01 00:41:55
![](https://img.aspxhome.com/file/2023/1/114591_0s.png)
Python卸载模块的方法汇总
2022-03-14 16:50:21
Flask处理Web表单的实现方法
2021-10-20 17:13:36
python的三目运算符和not in运算符使用示例
2021-07-18 23:36:35
![](https://img.aspxhome.com/file/2023/0/77650_0s.png)