python多进程执行方法apply_async使用说明
作者:yyyyyyyyyyang 时间:2023-01-31 11:56:10
apply_async简介
python在同一个线程中多次执行同一方法时,该方法执行耗时较长且每次执行过程及结果互不影响,如果只在主进程中执行,效率会很低,因此使用multiprocessing.Pool(processes=n)及其apply_async()方法提高程序执行的并行度从而提高程序的执行效率,其中processes=n为程序并行执行的进程数。
apply_async使用简明代码
import multiprocessing
#method为多次调用的方法
def method(param):
pass
if __name__ == '__main__':
pool = multiprocessing.Pool(processes=5)
params= ['param1', 'param2', 'param3', 'param4', 'param5']
for param in params:
pool.apply_async(method, args=(param, ))
pool.close()
使用总结:
apply_async是异步非阻塞式,不用等待当前进程执行完毕,随时跟进操作系统调度来进行进程切换,即多个进程并行执行,提高程序的执行效率。
补充:记录python multiprocessing Pool的map和apply_async方法
遇到的问题
在学习python多进程时,进程上运行的方法接收多个参数和多个结果时遇到了问题,现在经过学习在这里总结一下
Pool.map()多参数任务
在给map方法传入带多个参数的方法不能达到预期的效果,像下面这样
def job(x ,y):
return x * y
if __name__ == "__main__":
pool = multiprocessing.Pool()
res = pool.map(job, 2, 3)
print res
所以只能通过对有多个参数的方法进行封装,在进程中运行封装后的方法如下
def job(x ,y):
return x * y
def job1(z):
return job(z[0], z[1])
if __name__ == "__main__":
pool = multiprocessing.Pool()
res = pool.map(job1, [(2, 3), (3, 4)])
print res
这样就能达到传递多个参数的效果
ps:如果需要得到多个结果可以传入多个元组在一个列表中
Pool.apply_async()输出多个迭代结果
在使用apply_async()方法接收多个参数的方法时,在任务方法中正常定义多个参数,参数以元组形式传入即可
但是给apply_async()方法传入多个值获取多个迭代结果时就会报错,因为该方法只能接收一个值,所以可以将该方法放入一个列表生成式中,如下
def job(x):
return x * x
if __name__ == "__main__":
pool multiprocessing.Pool()
res = [pool.apply_async(target=job, (i,)) for i in range(3)]
print [r.get() for r in res]
python 3中提供了starmap和startmap_async两个方法
以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。如有错误或未考虑完全的地方,望不吝赐教。
来源:https://blog.csdn.net/weixin_42764612/article/details/89535848
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
Perl使用nginx FastCGI环境做WEB开发实例
pytorch网络模型构建场景的问题介绍
Django日志和调试工具栏实现高效的应用程序调试和性能优化
python实现FTP文件传输的方法(服务器端和客户端)
![](https://img.aspxhome.com/file/2023/9/65979_0s.png)
mac 安装python网络请求包requests方法
![](https://img.aspxhome.com/file/2023/9/100769_0s.jpg)
SQL Server 2012 安装与启动图文教程
![](https://img.aspxhome.com/file/2023/8/113568_0s.png)
MySQL错误Forcing close of thread的两种解决方法
![](https://img.aspxhome.com/file/2023/8/83378_0s.jpg)
Opera浏览器简介
python中日期和时间格式化输出的方法小结
asp如何读取注册表的信息?
asp vbcrlf是什么意思
用Python一键搭建Http服务器的方法
![](https://img.aspxhome.com/file/2023/8/121058_0s.jpg)
mysql语句如何插入含单引号或反斜杠的值详解
三种Golang数组拷贝方式及性能分析详解
SQL Server数据库服务器高性能设置
Go语言的变量定义详情
MySQL简化输入小技巧
python difflib模块示例讲解
![](https://img.aspxhome.com/file/2023/5/90795_0s.png)