python 并发下载器实现方法示例

本文实例讲述了python 并发下载器实现方法。分享给大家供大家参考，具体如下：

并发下载器

并发下载原理

from gevent import monkey
import gevent
import urllib.request
# 有耗时操作时需要
monkey.patch_all()
def my_downLoad(url):
 print('GET: ％s' ％ url)
 resp = urllib.request.urlopen(url)
 data = resp.read()
 print('％d bytes received from ％s.' ％ (len(data), url))
gevent.joinall([
   gevent.spawn(my_downLoad, 'http://www.baidu.com/'),
   gevent.spawn(my_downLoad, 'http://www.itcast.cn/'),
   gevent.spawn(my_downLoad, 'http://www.itheima.com/'),
])

运行结果

GET: http://www.baidu.com/
GET: http://www.itcast.cn/
GET: http://www.itheima.com/
111327 bytes received from http://www.baidu.com/.
172054 bytes received from http://www.itheima.com/.
215035 bytes received from http://www.itcast.cn/.

从上能够看到是先发送的获取baidu的相关信息，然后依次是itcast、itheima，但是收到数据的先后顺序不一定与发送顺序相同，这也就体现出了异步，即不确定什么时候会收到数据，顺序不一定

实现多个视频下载

from gevent import monkey
import gevent
import urllib.request
#有IO才做时需要这一句
monkey.patch_all()
def my_downLoad(file_name, url):
 print('GET: ％s' ％ url)
 resp = urllib.request.urlopen(url)
 data = resp.read()
 with open(file_name, "wb") as f:
   f.write(data)
 print('％d bytes received from ％s.' ％ (len(data), url))
gevent.joinall([
   gevent.spawn(my_downLoad, "1.mp4", 'http://oo52bgdsl.bkt.clouddn.com/05day-08-％E3％80％90％E7％90％86％E8％A7％A3％E3％80％91％E5％87％BD％E6％95％B0％E4％BD％BF％E7％94％A8％E6％80％BB％E7％BB％93％EF％BC％88％E4％B8％80％EF％BC％89.mp4'),
   gevent.spawn(my_downLoad, "2.mp4", 'http://oo52bgdsl.bkt.clouddn.com/05day-03-％E3％80％90％E6％8E％8C％E6％8F％A1％E3％80％91％E6％97％A0％E5％8F％82％E6％95％B0％E6％97％A0％E8％BF％94％E5％9B％9E％E5％80％BC％E5％87％BD％E6％95％B0％E7％9A％84％E5％AE％9A％E4％B9％89％E3％80％81％E8％B0％83％E7％94％A8％28％E4％B8％8B％29.mp4'),
])

上面的url可以换为自己需要下载视频、音乐、图片等网址

希望本文所述对大家Python程序设计有所帮助。

来源：https://blog.csdn.net/kai46385076/article/details/100069559