Python 用Redis简单实现分布式爬虫的方法
作者:zhou_1997 时间:2022-01-29 20:29:02
Redis通常被认为是一种持久化的存储器关键字-值型存储,可以用于几台机子之间的数据共享平台。
连接数据库
注意:假设现有几台在同一局域网内的机器分别为Master和几个Slaver
Master连接时host为localhost即本机的ip
_db = redis.Reds(host='localhost', port=6379, db=0)
Slaver连接时的host也为Master的ip,端口port和数据库db不写时为默认值6379、0
_db = redis.Redis(host='192.168.235.80')
Redis含列表、集合,字符串等几种数据结构,具体详细的几种数据结构的操作命令可查看Redis官网http://redis.io/commands,下面是对集合进行操作的一些命令
_db.sadd(key, *values) # 插入指定values到集合中并返回新插入的的值的数量
_db.spop(self.key) # 随机从集合中的得到一个元素将其从集合中删除并作为返回值返回
_db.smembers(self.key) # 返回集合的所有元素
_db.delete(key) # 删除整个集合, 成功返回1, 失败返回0
_db.srandmember(self.key) # 从集合中随机选取一个元素作为返回
_db.sismember(self.key, value) # 判断指定value是否在本集合中,成功返回1,失败返回0
例如,Master可利用redis将url上传到数据库
for i in range(20): # 将需爬取的糗事百科前20页的url并存入urls集合
url = 'http://www.qiushibaike.com/hot/page/%d/' % (i + 1)
_db.sadd('urls', url) # 将url插入关键字urls集合中,若url已存在则不再插入
进而Master和Slaver可从数据库里获取url
url = _db.spop('urls') # 随机从urls集合中取出一个url返回并将其删去
同理,Master可利用上面的方法将其他一些共用的资源上传到数据库,Slaver就可从数据库下载需要的东西。下面是一个完整的例子
# coding=utf-8
import urllib2
import re
import time
import redis
headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/49.0.2623.108 Chrome/49.0.2623.108 Safari/537.36'}
job_redis = redis.Redis(host='192.168.235.80') # host为主机的IP,port和db为默认值
class Clawer(object):
identity = 'master' # 或slaver
def __init__(self):
if self.identity == 'master':
for i in range(20): # 将需爬取的糗事百科前20页的url并存入urls集合
url = 'http://www.qiushibaike.com/hot/page/%d/' % (i + 1)
job_redis.sadd('urls', url)
self.main()
def get_content(self):
"""
从糗事百科中获取故事
:return: 故事列表
"""
stories = []
content_pattern = re.compile('<div class="content">([\w\W]*?)</div>([\w\W]*?)class="stats"') # 匹配故事内容(第一空)和是否含有图片(第二空)的模板
pattern = re.compile('<.*?>') # 匹配包括括号及括号内无关内容的模板
url = job_redis.spop('urls')
while url: # 当数据库还存在网页url,取出一个并爬取
try:
request = urllib2.Request(url, headers=headers)
response = urllib2.urlopen(request)
text = response.read()
except urllib2.URLError, e: # 若出现网页读取错误捕获并输出
if hasattr(e, "reason"):
print e.reason
content = re.findall(content_pattern, text) # 获取含模板内容的列表
for x in content:
if "img" not in x[1]: # 过滤含图片的故事
x = re.sub(pattern, '', x[0])
x = re.sub('\n', '', x)
stories.append(x)
url = job_redis.spop('urls')
time.sleep(3)
return stories
def main(self):
self.get_content()
if __name__ == '__main__':
Clawer()
将此代码在几台机器同时运行,调节其身份为master或slaver,做到简单的分布式爬虫
来源:http://blog.csdn.net/zhou_1997/article/details/52624468
标签:python,分布式,爬虫
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
CSS 超链接图标规范 V1.0
2007-12-28 12:05:00
![](https://img.aspxhome.com/file/UploadPic/200712/28/2007122813031671s.gif)
MySql循环插入数据
2010-10-14 13:50:00
python自动化测试selenium核心技术三种等待方式详解
2023-09-16 09:06:04
![](https://img.aspxhome.com/file/2023/0/95580_0s.png)
关闭窗口时保存数据的办法
2009-02-19 13:39:00
Oracle轻松取得建表和索引的DDL语句
2009-02-26 10:26:00
图解Python中浅拷贝copy()和深拷贝deepcopy()的区别
2021-12-09 21:09:39
![](https://img.aspxhome.com/file/2023/0/84970_0s.png)
对python的文件内注释 help注释方法
2021-12-20 18:12:46
python 集合 并集、交集 Series list set 转换的实例
2023-12-16 10:53:34
白鸦:贪守米缸者,饿死灶台
2009-02-23 13:03:00
在javascript中如何取整?
2009-06-07 18:34:00
跨浏览器的inline-block[译]
2009-03-11 21:04:00
![](https://img.aspxhome.com/file/UploadPic/20093/11/01-74s.jpg)
python清除字符串前后空格函数的方法
2023-10-14 07:12:57
Python opencv应用实现图片切分操作示例
2021-12-25 03:45:39
![](https://img.aspxhome.com/file/2023/6/72876_0s.png)
golang定时任务cron项目实操指南
2023-08-26 00:21:40
![](https://img.aspxhome.com/file/2023/8/99648_0s.jpg)
JS分割字符串并放入数组的函数
2023-08-05 15:31:03
python实现可逆简单的加密算法
2023-08-02 04:00:31
![](https://img.aspxhome.com/file/2023/7/92467_0s.png)
PHP PDOStatement::bindColumn讲解
2023-06-10 04:35:55
Python编程实现生成特定范围内不重复多个随机数的2种方法
2022-05-08 08:49:51
![](https://img.aspxhome.com/file/2023/3/95333_0s.jpg)
python实战之百度智能云使人像动漫化
2021-01-19 07:15:11
![](https://img.aspxhome.com/file/2023/9/84869_0s.png)
Yolov5更换BiFPN的详细步骤总结
2023-01-17 02:51:22
![](https://img.aspxhome.com/file/2023/6/84056_0s.jpg)