Python基于进程池实现多进程过程解析
作者:杰鑫哥 时间:2023-05-08 10:52:24
1、注意:pool必须在 if __name__ == '__main__' 下面运行,不然会报错
2、多进程内出现错误会直接跳过该进程,并且默认不会打印错误信息
3、if__name__下面的数据需要通过参数传入主函数里面,不然主函数获取不到该数据值而报错。
4、若不通过传参形式传入数据,可以定义全局变量。但是全局变量的值不能在多进程里面进行修改。
代码如下
from multiprocessing import Pool # 进程池,用于多进程
import os # 用于获取当前执行的文件名
import time
import traceback # 用于捕获异常
import sys # 用于捕获异常
def main_func(i): # 多进程运行的函数
try: # 多进程中发生异常是不会打印错误信息,并且当前进程会直接跳过,所以异常需要自行捕获
rand_time = random.randint(1, 3) # 随机产生1~3的整数
time.sleep(rand_time )
print(i)
except:
current_filename = str(os.path.basename(sys.argv[0]))[:-3] # 获取当前文件名称
cur_err_filname = current_filename + '_error.txt'
error_info = sys.exc_info() # 打印异常
with open(f'{cur_err_filname }', 'a') as f:
error_str = f'{i}:ERROR OCCURRED,{time.strftime("%Y-%m-%d %H:%M:%S")}:\n {error_info[0]}: {error_info[1]}' # 记录当前进程特征值,错误发生时间 ,错误类型,错误概述
print(error_str, file=f) # 通过打印方式写入文件
traceback.print_tb(error_info[2], file=f) # 错误细节描述(包括bug的代码位置)
f.write(f"{'=' * 50}\n") # 分行
if __name__ == '__main__': # 必须在此语句下面运行,不然会报错
pool = Pool(5) # 定义进程数量
for i in range(20):
pool.apply_async(main_func, (i, )) # 调用函数执行多进程
pool.close() # 关闭进程池
pool.join() # 阻塞进程,此两部不能少,保证多进程正常运行
来源:https://www.cnblogs.com/jaysonteng/p/12560645.html
标签:Python,进程池,多,进程
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
python数据分析工具之 matplotlib详解
2023-03-11 21:53:24
![](https://img.aspxhome.com/file/2023/0/107040_0s.jpg)
python多线程socket编程之多客户端接入
2021-01-26 10:14:52
![](https://img.aspxhome.com/file/2023/4/69054_0s.png)
PHP入门教程之面向对象的特性分析(继承,多态,接口,抽象类,抽象方法等)
2023-11-18 08:17:16
python中类的属性和方法介绍
2023-10-22 05:14:47
python主线程与子线程的结束顺序实例解析
2023-10-09 12:46:07
Mysql获取当前日期的前几天日期的方法
2024-01-16 01:22:31
解读ASP.NET 5 & MVC6系列教程(6):Middleware详解
2023-07-23 22:27:34
golang实现各种情况的get请求操作
2024-04-25 15:30:15
![](https://img.aspxhome.com/file/2023/6/134066_0s.jpg)
Oracle数据库集复制方法浅议
2023-07-16 16:33:49
ASP.NET MVC4入门教程(五):从控制器访问数据模型
2024-06-05 09:25:42
![](https://img.aspxhome.com/file/2023/6/122826_0s.png)
Python PyInstaller库基本使用方法分析
2022-03-19 16:29:46
![](https://img.aspxhome.com/file/2023/5/68935_0s.png)
javascript拼音搜索引擎
2011-08-29 15:42:14
详解Python函数式编程之装饰器
2023-06-16 19:46:58
![](https://img.aspxhome.com/file/2023/5/94165_0s.png)
python写入文件自动换行问题的方法
2022-06-13 11:28:18
![](https://img.aspxhome.com/file/2023/4/130644_0s.png)
JavaScript 浮动定位提示效果实现代码第1/2页
2023-07-22 23:26:19
![](https://img.aspxhome.com/file/2023/5/55945_0s.jpg)
Vue组件之事件总线和消息发布订阅详解
2024-05-02 16:55:42
![](https://img.aspxhome.com/file/2023/0/130150_0s.png)
Golang检查变量类型的四种方式
2024-04-27 15:26:11
Python交互式图形编程的实现
2021-09-04 18:19:15
![](https://img.aspxhome.com/file/2023/9/65929_0s.png)
浅谈Go语言中字符串和数组
2024-04-25 15:14:36
xhEditor的异步载入实现代码
2022-01-29 10:40:28