python爬虫框架scrapy下载中间件的编写方法
作者:S++ 时间:2021-10-16 13:37:19
下载中间件
在每一个scrapy工程中都有一个名为 middlewares.py 的文件,这个就是中间件文件
其中下载中间件的类为 XxxDownloaderMiddleware
其中有这么几个方法
def process_request(self, request, spider):
return None
def process_response(self, request, response, spider):
return response
def process_exception(self, request, exception, spider):
pass
process_request
这个方法是用来拦截请求的,我们可以将UA伪装写在这个方法中。
UA池这个属性需要自己编写
def process_request(self, request, spider):
# UA伪装,从UA池随机一个
request.headers['User-Agent'] = random.choice(self.user_agent_list)
return None
process_response
这个方法是用来拦截响应的,我们可以在这里篡改响应数据。
如果我们将selenium和scrapy结合就可以请求那些动态加载的数据了。
def process_response(self, request, response, spider):
# 浏览器对象
bro = spider.bro
# 参数spider是爬虫对象
# 挑选出指定响应对象进行篡改url->request->response
bro.get(request.url)
page_text = bro.page_source # 包含了动态加载的数据
# 针对定位到的response篡改
# 实例化新的响应对象(包含动态加载的数据)
response = HtmlResponse(url=bro.current_url, body=page_text, encoding='utf-8', request=request)
return response
在爬虫文件中需要预先创建selenium的浏览器对象
import scrapy
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver import ChromeOptions
class XxxSpider(scrapy.Spider):
name = 'xxx'
# allowed_domains = ['www.xxx.com']
start_urls = ['……']
def __init__(self):
service = Service('/Users/soutsukyou/PyCharm_Workspace/网络爬虫/study_selenium/chromedriver')
chrome_options = ChromeOptions()
# 规避检测
chrome_options.add_experimental_option('excludeSwitches', ['enable-automation'])
# 实例化浏览器
self.bro = webdriver.Chrome(service=service, options=chrome_options)
process_exception
这是用来拦截发生异常的请求对象,一般我们可以在这里写代理ip。
两个代理ip池属性需要自己编写
def process_exception(self, request, exception, spider):
# 可以设置代理ip
if request.url.split(':')[0] == 'http':
request.meta['proxy'] = 'http://'+random.choice(self.PROXY_http)
if request.url.split(':')[0] == 'https':
request.meta['proxy'] = 'https://'+random.choice(self.PROXY_https)
# 重新请求发送
return request
其它
我们需要在settings.py中开启下载中间件才能使其生效
# Enable or disable downloader middlewares
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
'xxx.middlewares.XxxDownloaderMiddleware': 543,
}
来源:https://www.cnblogs.com/S2Jgogo/p/16052157.html
标签:python,scrapy,中间件
0
投稿
猜你喜欢
浅谈javascript面向对象编程
2009-03-03 12:04:00
PHP Ajax JavaScript Json获取天气信息实现代码
2023-11-20 20:51:27
检测你的SQL Server是否有特洛伊木马
2009-02-05 15:58:00
SQL Server应用程序的高级Sql注入
2009-04-11 16:54:00
如何利用SysOjects来获知数据库的信息?
2010-01-01 15:43:00
给Notepad++换主题
2009-05-04 14:43:00
如何在MySQL查询结果集中得到记录行号
2008-12-17 15:00:00
简单谈谈JS中的正则表达式
2023-07-22 00:50:22
当设计师遇上前端开发
2009-05-04 14:05:00
IE9硬件加速性能远超Chrome5.0和Firefox4.0
2010-06-09 11:12:00
Div的浮动+循环(描述的不清楚,请看图)
2008-09-22 20:21:00
FrontPage2002简明教程六:图片库
2008-09-17 11:30:00
40个网页设计常用小代码
2008-01-01 19:27:00
CentOS7 LNMP+phpmyadmin环境搭建 第三篇phpmyadmin安装
2023-10-17 03:23:18
豆瓣可以做而且值得做的几件事情
2009-04-24 12:07:00
如何编写一个高效的国税系统通讯录数据库?
2009-11-07 18:53:00
详解如何在python中读写和存储matlab的数据文件(*.mat)
2023-06-27 22:24:32
隐藏你的.php文件的实现方法
2023-10-20 22:58:01
sqlserver关于分页存储过程的优化【让数据库按我们的意思执行查询计划】
2011-09-30 11:09:37
Server 对象 错误 ASP 0177 800401f3 的解决方案 Server 对象 错误 ASP 0177 800401f3
2009-07-28 17:57:00