Python爬虫与反爬虫大战
作者:syncd 时间:2023-06-05 04:11:54
爬虫与发爬虫的厮杀,一方为了拿到数据,一方为了防止爬虫拿到数据,谁是最后的赢家?
重新理解爬虫中的一些概念
爬虫:自动获取网站数据的程序
反爬虫:使用技术手段防止爬虫程序爬取数据
误伤:反爬虫技术将普通用户识别为爬虫,这种情况多出现在封ip中,例如学校网络、小区网络再或者网络网络都是共享一个公共ip,这个时候如果是封ip就会导致很多正常访问的用户也无法获取到数据。所以相对来说封ip的策略不是特别好,通常都是禁止某ip一段时间访问。
成本:反爬虫也是需要人力和机器成本
拦截:成功拦截爬虫,一般拦截率越高,误伤率也就越高
反爬虫的目的
初学者写的爬虫:简单粗暴,不管对端服务器的压力,甚至会把网站爬挂掉了
数据保护:很多的数据对某些公司网站来说是比较重要的不希望被别人爬取
商业竞争问题:这里举个例子是关于京东和天猫,假如京东内部通过程序爬取天猫所有的商品信息,从而做对应策略这样对天猫来说就造成了非常大的竞争
爬虫与反爬虫大战
上有政策下有对策,下面整理了常见的爬虫大战策略
来源:https://www.cnblogs.com/zhaof/p/7326260.html
标签:Python,反,爬虫
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
怎样使用 SQL Server 数据库嵌套子查询
2009-02-05 15:26:00
Python全栈之字符串和列表相关操作
2022-02-04 04:15:25
![](https://img.aspxhome.com/file/2023/7/109967_0s.png)
SQL Server的怪辟:异常与孤立事务
2009-09-24 14:11:00
浅谈Python traceback的优雅处理
2023-08-06 06:57:42
python判断字符串是否包含子字符串的方法
2021-01-04 12:48:03
用Frontpage设计网站主页
2008-10-23 13:44:00
python playwright之元素定位示例详解
2023-06-14 01:08:41
Python3爬虫带上cookie的实例代码
2021-11-10 18:06:58
asp程序错误详细说明例表
2008-04-02 12:13:00
09七夕节各大搜索引擎LOGO欣赏
2009-08-27 15:34:00
![](https://img.aspxhome.com/file/UploadPic/20098/27/09-tanabata-festival-search-logo-44s.jpg)
盘点Python加密解密模块hashlib的7种加密算法(推荐)
2021-09-19 01:02:01
Python+tkinter编写一个最近很火的强制表白神器
2022-10-25 07:42:10
![](https://img.aspxhome.com/file/2023/5/121405_0s.png)
使用 Osql 工具管理 SQL Server 桌面引擎 (MSDE 2000)应用介绍
2020-07-01 22:12:59
CSS代码实现下划线样式的输入框效果
2010-03-16 12:42:00
![](https://img.aspxhome.com/file/UploadPic/20103/16/201031613047449s.jpg)
php7 参数、整形及字符串处理机制修改实例分析
2023-11-23 19:48:31
如何结束一个session变量
2009-08-12 19:20:00
http通过StreamingHttpResponse完成连续的数据传输长链接方式
2023-06-04 03:33:45
Google投放广告的js的分析
2008-07-15 11:34:00
Python通过matplotlib画双层饼图及环形图简单示例
2021-09-14 11:08:18
![](https://img.aspxhome.com/file/2023/3/92353_0s.jpg)
k-means 聚类算法与Python实现代码
2022-02-01 02:55:22
![](https://img.aspxhome.com/file/2023/7/99277_0s.png)