python反爬虫方法的优缺点分析

作者:小妮浅浅 时间:2023-09-07 11:38:02 

我们选择一种问题的解决办法,通常需要考虑到想要达到的效果,还有最重要的是这个办法本身的优缺点有哪些,与其他的方法对比哪一个更好。之前小编之前也教过大家在python应对反爬虫的方法,那么小伙伴们知道具体情况下选择哪一种办法更适合吗?今天就其中的user-agent和ip代码两个办法进行优缺点分析比较,让大家可以明确不同办法的区别从而进行选择。

方法一:

可以自己设置一下user-agent,或者更好的是,可以从一系列的user-agent里随机挑出一个符合标准的使用。

 python反爬虫方法的优缺点分析缺点:

容易伪造头部,github上有人分享开源库fake-useragent

IP限制

如果一个固定的ip在短暂的时间内,快速大量的访问一个网站,后台管理员可以编写IP限制,不让该IP继续访问。

方法二:

比较成熟的方式是:IP代理池

python反爬虫方法的优缺点分析 

简单的说,就是通过ip代理,从不同的ip进行访问,这样就不会被封掉ip了。

可是ip代理的获取本身就是一个很麻烦的事情,网上有免费和付费的,但是质量都层次不齐。如果是企业里需要的话,可以通过自己购买集群云服务来自建代理池。

缺点:

可以使用免费/付费代理,绕过检测。

读完本篇我们会发现,每种方法都有它的缺陷,我们要做的就是发挥使用它的优势出。根据不同的环境情况,可以选择适合自己操作顺手的方法。对于两种方法知识点遗忘的,可以直接点击进去进行回顾。

来源:https://www.py.cn/jishu/jichu/21241.html

标签:python,反爬虫
0
投稿

猜你喜欢

  • CSS 裸奔节

    2009-04-09 19:36:00
  • Django瀑布流的实现示例

    2021-05-09 10:07:42
  • SQL Server控制语句的基本应用

    2024-01-24 12:52:28
  • django 通过ajax完成邮箱用户注册、激活账号的方法

    2022-02-19 05:59:57
  • 使用GitHub和Python实现持续部署的方法

    2022-07-16 22:54:35
  • python中assert用法实例分析

    2023-05-22 06:01:40
  • 利用Python脚本写端口扫描器socket,python-nmap

    2021-05-10 15:16:54
  • 通俗易懂详解Python基础五种下划线作用

    2024-01-01 06:36:22
  • Python面向对象特殊属性及方法解析

    2022-05-19 15:16:06
  • 对python中的logger模块全面讲解

    2021-01-17 00:49:17
  • Python创建一个空的dataframe,并循环赋值的方法

    2022-03-09 22:25:41
  • python 解压pkl文件的方法

    2022-01-11 02:41:55
  • 解决杀毒软件误删asp文件的方法

    2008-10-21 21:23:00
  • 使用SSIS创建同步数据库数据任务的方法

    2012-11-30 19:53:44
  • 详解 Mysql查询结果顺序按 in() 中ID 的顺序排列

    2024-01-16 06:21:51
  • ORACLE LATERAL-SQL-INJECTION 个人见解

    2009-03-04 10:34:00
  • Python通过zookeeper实现分布式服务代码解析

    2021-09-11 11:09:48
  • Python处理PPT文件的实用知识点总结

    2021-04-26 04:11:10
  • MySQL分区的功能和限制讲解

    2010-10-14 14:03:00
  • asp导出CSV格式数据

    2008-12-24 21:25:00
  • asp之家 网络编程 m.aspxhome.com