python解决网站的反爬虫策略总结

作者:tyomcat 时间:2022-11-04 12:57:34 

本文详细介绍了网站的反爬虫策略,在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。

从功能上来讲,爬虫一般分为数据采集,处理,储存三个部分。这里我们只讨论数据采集部分。

一般网站从三个方面反爬虫:用户请求的Headers,用户行为,网站目录和数据加载方式。前两种比较容易遇到,大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用,这样增大了爬取的难度(防止静态爬虫使用ajax技术动态加载页面)。

1、从用户请求的Headers反爬虫是最常见的反爬虫策略。

伪装header。很多网站都会对Headers的User-Agent进行检测,还有一部分网站会对Referer进行检测(一些资源网站的防盗链就是检测Referer)。如果遇到了这类反爬虫机制,可以直接在爬虫中添加Headers,将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名[评论:往往容易被忽略,通过对请求的抓包分析,确定referer,在程序中模拟访问请求头中添加]。对于检测Headers的反爬虫,在爬虫中修改或者添加Headers就能很好的绕过。

2、基于用户行为反爬虫

还有一部分网站是通过检测用户行为,例如同一IP短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作。[这种防爬,需要有足够多的ip来应对]

(1)、大多数网站都是前一种情况,对于这种情况,使用IP代理就可以解决。可以专门写一个爬虫,爬取网上公开的代理ip,检测后全部保存起来。有了大量代理ip后可以每请求几次更换一个ip,这在requests或者urllib中很容易做到,这样就能很容易的绕过第一种反爬虫。

编写爬虫代理:

步骤:

1.参数是一个字典{'类型':'代理ip:端口号'}
proxy_support=urllib.request.ProxyHandler({})
2.定制、创建一个opener
opener=urllib.request.build_opener(proxy_support)
3a.安装opener
urllib.request.install_opener(opener)
3b.调用opener
opener.open(url)

用大量代理随机请求目标网站,应对反爬虫


#! /usr/bin/env python3.4
#-*- coding:utf-8 -*-
#__author__ == "tyomcat"

import urllib.request
import random
import re

url='http://www.whatismyip.com.tw'
iplist=['121.193.143.249:80','112.126.65.193:80','122.96.59.104:82','115.29.98.139:9999','117.131.216.214:80','116.226.243.166:8118','101.81.22.21:8118','122.96.59.107:843']

proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)})
opener=urllib.request.build_opener(proxy_support)
opener.addheaders=[('User-Agent','Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36')]
urllib.request.install_opener(opener)
response = urllib.request.urlopen(url)
html = response.read().decode('utf-8')

pattern = re.compile('<h1>(.*?)</h1>.*?<h2>(.*?)</h2>')
iterms=re.findall(pattern,html)
for item in iterms:
 print(item[0]+":"+item[1])

(2)、对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站,可以通过请求几次,退出登录,重新登录,继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。[评论:对于账户做防爬限制,一般难以应对,随机几秒请求也往往可能被封,如果能有多个账户,切换使用,效果更佳]

3、动态页面的反爬虫

上述的几种情况大多都是出现在静态页面,还有一部分网站,我们需要爬取的数据是通过ajax请求得到,或者通过Java生成的。

解决方案:Selenium+PhantomJS                           

Selenium:自动化web测试解决方案,完全模拟真实的浏览器环境,完全模拟基本上所有的用户操作

PhantomJS :一个没有图形界面的浏览器

 获取淘宝妹妹的个人详情地址:


#! /usr/bin/env python
# -*- coding:utf-8 -*-
#__author__ == "tyomcat"

from selenium import webdriver
import time
import re

drive = webdriver.PhantomJS(executable_path='phantomjs-2.1.1-linux-x86_64/bin/phantomjs')
drive.get('https://mm.taobao.com/self/model_info.htm?user_id=189942305&is_coment=false')

time.sleep(5)

pattern = re.compile(r'<div.*?mm-p-domain-info">.*?class="mm-p-info-cell clearfix">.*?<li>.*?<label>(.*?)</label><span>(.*?)</span>',re.S)
html=drive.page_source.encode('utf-8','ignore')
items=re.findall(pattern,html)
for item in items:
 print item[0],'http:'+item[1]
drive.close()

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

标签:python,反爬虫
0
投稿

猜你喜欢

  • 静态页面实现文章点击数统计的js方法

    2008-01-23 19:17:00
  • python requests包的request()函数中的参数-params和data的区别介绍

    2021-05-04 18:21:13
  • python 爬虫基本使用——统计杭电oj题目正确率并排序

    2021-11-25 17:16:35
  • MYSQL本地安装以及出现的问题解决

    2024-01-25 00:00:36
  • vue项目中data数据之间互相访问的实现

    2024-05-28 15:51:43
  • Python 实现数据结构-循环队列的操作方法

    2022-10-13 23:15:00
  • python jupyter入门教程

    2022-08-19 20:42:04
  • Django项目使用ckeditor详解(不使用admin)

    2022-12-15 01:52:52
  • python3实现TCP协议的简单服务器和客户端案例(分享)

    2023-01-11 13:11:21
  • Python实现的数据结构与算法之队列详解

    2021-06-06 09:58:05
  • python闭包的实例详解

    2021-03-19 03:25:09
  • python可以用哪些数据库

    2024-01-19 11:43:51
  • 将字典转换为DataFrame并进行频次统计的方法

    2023-11-21 05:37:30
  • Python使用psutil获取进程信息的例子

    2021-11-03 07:29:47
  • python groupby函数实现分组后选取最值

    2022-06-02 09:27:45
  • Python基于正则表达式实现检查文件内容的方法【文件检索】

    2021-06-11 07:58:45
  • SQL0290N表空间状态问题:停顿的独占处理

    2008-12-26 17:24:00
  • 微信公众号支付之坑:调用支付jsapi缺少参数 timeStamp等错误解决方法

    2024-05-11 09:16:42
  • 如何关掉pycharm中的python console(图解)

    2023-01-28 05:54:35
  • 常用python数据类型转换函数总结

    2023-07-27 23:07:16
  • asp之家 网络编程 m.aspxhome.com