检测python爬虫时是否代理ip伪装成功的方法
作者:千锋Python唐唐君 时间:2021-07-31 20:23:44
有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。
Python¶
requests
#! -*- encoding:utf-8 -*-
import requests
import random
# 要访问的目标页面
targetUrl = "http://httpbin.org/ip"
# 要访问的目标HTTPS页面
# targetUrl = "https://httpbin.org/ip"
# 代理服务器
proxyHost = "t.16yun.cn"
proxyPort = "31111"
# 代理隧道验证信息
proxyUser = "16ZKBRLB"
proxyPass = "234076"
proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
"host" : proxyHost,
"port" : proxyPort,
"user" : proxyUser,
"pass" : proxyPass,
}
# 设置 http和https访问都是用HTTP代理
proxies = {
"http" : proxyMeta,
"https" : proxyMeta,
}
# 设置IP切换头
tunnel = random.randint(1,10000)
headers = {"Proxy-Tunnel": str(tunnel)}
resp = requests.get(targetUrl, proxies=proxies, headers=headers)
print resp.status_code
print resp.text
要检测代理是否获取到,直接在配置代理后访http://httpbin.org/ip网站,获取到ip后再访问www.ip138.com就知道是否获取到了ip。
来源:https://www.cnblogs.com/cherry-tang/p/11064141.html
标签:python,爬虫,代理,ip,伪装
0
投稿
猜你喜欢
python 性能提升的几种方法
2022-05-21 06:38:18
PHP用Session实现用户登陆功能
2023-06-18 02:09:38
常见SQL Server 2000漏洞及其相关利用
2007-10-01 14:45:00
mysql数据库乱码之保存越南文乱码解决方法
2024-01-14 12:12:24
Windows下python3安装tkinter的问题及解决方法
2023-03-30 11:45:31
python第三方异步日志库loguru简介
2022-03-25 14:34:23
Go编写定时器与定时任务详解(附第三方库gocron用法)
2024-05-09 09:40:19
python使用PyGame模块播放声音的方法
2021-02-22 06:50:58
使用Python处理json字符串中的非法双引号问题
2021-01-19 19:26:13
编写Python的web框架中的Model的教程
2022-09-29 22:54:19
将MySQL 5.0下的数据导入到MySQL 3.23中
2009-01-04 13:02:00
在Mac OS上安装Oracle数据库的基本方法
2024-01-20 13:57:11
python障碍式期权定价公式
2023-12-08 03:54:53
matplotlib中legend位置调整解析
2023-07-17 03:00:44
python使用sqlite3时游标使用方法
2022-10-10 09:29:16
举例区分Python中的浅复制与深复制
2022-08-20 02:34:57
详解Django中间件执行顺序
2023-01-27 20:30:00
python字符串排序方法
2023-11-16 10:44:18
用Django实现一个可运行的区块链应用
2022-07-17 22:26:31
微信小程序实现留言板(Storage)
2024-04-16 09:31:16