Python利用selenium建立代理ip池访问网站的全过程

作者:HarryPoFly 时间:2021-12-03 11:41:26 

一、使用selenium前?

1.安装selenium

pip install Selenium

2.安装浏览器驱动

Chrome驱动文件下载:点击下载

3.配置环境

1.将下载文件放进C:\Program Files (x86)\Google\Chrome\Application下就可以

Python利用selenium建立代理ip池访问网站的全过程

2.然后配置下系统变量:我的电脑–>属性–>系统设置–>高级–>环境变量–>系统变量–>Path,将“C:\Program Files (x86)\Google\Chrome\Application”目录添加到Path的值中。

Python利用selenium建立代理ip池访问网站的全过程

Python利用selenium建立代理ip池访问网站的全过程

Python利用selenium建立代理ip池访问网站的全过程

注:之后如果代码不能调起浏览器,重启电脑,再运行!!!

二、使用selenium

1.引入库

代码如下(示例):

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

2.完整代码

如果有多个代理ip可循环使用,防止被禁几率

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
#以下ip使用自己可使用的 *
proxy_arr = [
    '--proxy-server=http://171.35.141.103:9999',
    '--proxy-server=http://36.248.132.196:9999',
    # '--proxy-server=http://125.46.0.62:53281',
    '--proxy-server=http://219.239.142.253:3128',
    '--proxy-server=http://119.57.156.90:53281',
    '--proxy-server=http://60.205.132.71:80',
    '--proxy-server=https://139.217.110.76:3128',
    '--proxy-server=https://116.196.85.150:3128'
]

chrome_options = Options()
proxy = random.choice(proxy_arr)  # 随机选择一个代理
print(proxy) #如果某个代理访问失败,可从proxy_arr中去除
chrome_options.add_argument(proxy)  # 添加代理
browser = webdriver.Chrome(options=chrome_options)
browser.get("http://httpbin.org/ip")
print(browser.page_source)

代码如下(示例):

Python利用selenium建立代理ip池访问网站的全过程

总结 

来源:https://blog.csdn.net/sinat_33801009/article/details/108383876

标签:selenium,代理,ip池
0
投稿

猜你喜欢

  • Python实现简单生成验证码功能【基于random模块】

    2022-12-10 18:19:58
  • 用来武装Firefox的24款Web开发插件

    2010-02-28 12:40:00
  • 关于最新IDEA2020.2.1,2.2,3以上破解,激活失效,重新激活的问题

    2023-11-26 00:32:37
  • Python实现交通数据可视化的示例代码

    2022-03-09 13:00:00
  • Python数学建模学习模拟退火算法旅行商问题示例解析

    2023-07-28 08:33:24
  • mysql全文搜索 sql命令的写法

    2024-01-25 04:45:38
  • 图文详解laravel多对多关联模型

    2023-06-12 22:21:34
  • Python延时操作实现方法示例

    2023-08-25 04:04:50
  • WEB2.0网页制作标准教程(2)什么是名字空间

    2007-11-13 13:04:00
  • Vue3 ref构建响应式变量失效问题及解决

    2023-07-02 16:33:49
  • golang json性能分析详解

    2024-05-09 14:57:46
  • 使用python检测主机存活端口及检查存活主机

    2021-08-01 05:20:27
  • Python新版极验验证码识别验证码教程详解

    2022-03-07 01:02:55
  • 解决Python命令行下退格,删除,方向键乱码(亲测有效)

    2023-01-02 16:30:25
  • Oracle如何设置表空间数据文件大小

    2024-01-13 01:00:03
  • Python中求对数方法总结

    2023-04-13 22:20:28
  • MySQL查询优化:LIMIT 1避免全表扫描提高查询效率

    2024-01-29 08:33:13
  • 如何实现让每句话的头一个字母都大写?

    2010-05-24 18:26:00
  • 在ASP.NET 2.0中操作数据之五十四:添加新记录时包含一个文件上传选项

    2024-03-16 02:11:24
  • 浅析location.href跨窗口调用函数

    2024-04-17 09:41:37
  • asp之家 网络编程 m.aspxhome.com