Python多线程爬虫简单示例
作者:lijiao 时间:2022-04-30 13:35:40
python是支持多线程的,主要是通过thread和threading这两个模块来实现的。thread模块是比较底层的模块,threading模块是对thread做了一些包装的,可以更加方便的使用。
虽然python的多线程受GIL限制,并不是真正的多线程,但是对于I/O密集型计算还是能明显提高效率,比如说爬虫。
下面用一个实例来验证多线程的效率。代码只涉及页面获取,并没有解析出来。
# -*-coding:utf-8 -*-
import urllib2, time
import threading
class MyThread(threading.Thread):
def __init__(self, func, args):
threading.Thread.__init__(self)
self.args = args
self.func = func
def run(self):
apply(self.func, self.args)
def open_url(url):
request = urllib2.Request(url)
html = urllib2.urlopen(request).read()
print len(html)
return html
if __name__ == '__main__':
# 构造url列表
urlList = []
for p in range(1, 10):
urlList.append('http://s.wanfangdata.com.cn/Paper.aspx?q=%E5%8C%BB%E5%AD%A6&p=' + str(p))
# 一般方式
n_start = time.time()
for each in urlList:
open_url(each)
n_end = time.time()
print 'the normal way take %s s' % (n_end-n_start)
# 多线程
t_start = time.time()
threadList = [MyThread(open_url, (url,)) for url in urlList]
for t in threadList:
t.setDaemon(True)
t.start()
for i in threadList:
i.join()
t_end = time.time()
print 'the thread way take %s s' % (t_end-t_start)
分别用两种方式获取10个访问速度比较慢的网页,一般方式耗时50s,多线程耗时10s。
多线程代码解读:
# 创建线程类,继承Thread类
class MyThread(threading.Thread):
def __init__(self, func, args):
threading.Thread.__init__(self) # 调用父类的构造函数
self.args = args
self.func = func
def run(self): # 线程活动方法
apply(self.func, self.args)
threadList = [MyThread(open_url, (url,)) for url in urlList] # 调用线程类创建新线程,返回线程列表
for t in threadList:
t.setDaemon(True) # 设置守护线程,父线程会等待子线程执行完后再退出
t.start() # 线程开启
for i in threadList:
i.join() # 等待线程终止,等子线程执行完后再执行父线程
标签:Python,多线程,爬虫
0
投稿
猜你喜欢
python和C语言混合编程实例
2023-10-30 22:30:23
mysql3升级到mysql5解决乱码心得
2009-04-20 14:41:00
对Django中static(静态)文件详解以及{% static %}标签的使用方法
2021-03-27 20:28:21
利用Python+eval函数构建数学表达式计算器
2021-01-28 14:38:44
Python语法分析之字符串格式化
2021-10-09 18:00:09
php基于websocket搭建简易聊天室实践
2023-11-17 12:45:42
Python 装饰器使用详解
2021-09-02 05:41:01
TensorFlow2基本操作之合并分割与统计
2022-01-01 21:47:39
各种页面定时跳转(倒计时跳转)代码总结
2023-09-05 00:12:01
Python使用apscheduler模块设置定时任务的实现
2021-05-01 05:01:54
pandas选择或添加列生成新的DataFrame操作示例
2023-03-02 00:41:51
django模型类中,null=True,blank=True用法说明
2022-05-29 00:47:31
在Python中使用poplib模块收取邮件的教程
2023-02-05 20:48:25
python格式化字符串的实战教程(使用占位符、format方法)
2023-02-01 22:20:21
Windows和Linux下Python输出彩色文字的方法教程
2021-04-15 11:15:41
Python线性回归实战分析
2023-05-19 04:35:42
Python之ascii转中文的实现
2023-08-24 19:39:12
用XML和XSL来生成动态页面
2008-09-04 10:35:00
python3.5 + PyQt5 +Eric6 实现的一个计算器代码
2021-02-27 17:00:28
用python写扫雷游戏实例代码分享
2023-03-31 05:12:38