python爬虫 urllib模块发起post请求过程解析
作者:minger_lcm 时间:2022-02-07 22:52:53
urllib模块发起的POST请求
案例:爬取百度翻译的翻译结果
1.通过浏览器捉包工具,找到POST请求的url
针对ajax页面请求的所对应url获取,需要用到浏览器的捉包工具。查看百度翻译针对某个字条发送ajax请求,所对应的url
点击clear按钮可以把抓包工具,所抓到请求清空
然后填上翻译字条发送ajax请求,红色框住的都是发送的ajax请求
抓包工具All按钮代表 显示抓到的所有请求 ,包括GET、POST请求 、基于ajax的POST请求
XHR代表 只显示抓到的基于ajax的POST请求
哪个才是我们所要的基于ajax的POST请求,这个POST请求是携带翻译字条的苹果请求参数
再看看这个POST请求 对应的请求URL ,这个URL是我们要请求的URL
发起POST请求之前,要处理POST请求携带的参数 3步流程:
一、将POST请求封装到字典
二、使用parse模块中的urlencode(返回值类型是字符串类型)进行编码处理
三、将步骤二的编码结果转换成byte类型
import urllib.request
import urllib.parse
# 1.指定url
url = 'https://fanyi.baidu.com/sug'
# 发起POST请求之前,要处理POST请求携带的参数 流程:
# 一、将POST请求封装到字典
data = {
# 将POST请求所有携带参数放到字典中
'kw':'苹果',
}
# 二、使用parse模块中的urlencode(返回值类型是字符串类型)进行编码处理
data = urllib.parse.urlencode(data)
# 三、将步骤二的编码结果转换成byte类型
data = data.encode()
'''2. 发起POST请求:urlopen函数的data参数表示的就是经过处理之后的
POST请求携带的参数
'''
response = urllib.request.urlopen(url=url,data=data)
data = response.read()
print(data)
把拿到的翻译结果 去json在线格式校验(在线JSON校验格式化工具(Be JSON)),
点击格式化校验和unicode转中文
来源:https://www.cnblogs.com/mingerlcm/p/11369444.html
标签:python,爬虫,urllib,模块,post,请求
0
投稿
猜你喜欢
讲解Python3中NumPy数组寻找特定元素下标的两种方法
2023-07-17 09:58:42
Python实现学生成绩管理系统
2023-08-13 09:51:17
使用SQL语句快速获取SQL Server数据字典
2009-01-08 16:31:00
python matplotlib中的subplot函数使用详解
2021-02-18 00:00:28
python3.7将代码打包成exe程序并添加图标的方法
2021-01-17 08:29:32
Python绘制1000响大地红鞭炮动态效果
2021-08-21 20:44:26
2008年10佳改版网站
2008-09-22 20:15:00
43个应当避免的Web设计错误
2007-09-30 12:57:00
HTTP 错误 500.100 - 内部服务器错误 - ASP 错误
2008-09-12 13:07:00
asp 判断上传文件中是否存在危险代码
2011-03-17 11:19:00
浏览器用户体验:Firefox初体验 VS The world
2008-08-02 11:58:00
Go语言指针用法详解
2023-08-05 17:06:36
Python实现word2Vec model过程解析
2023-10-07 14:22:10
Dreamweaver滑动菜单的制作[图]
2007-11-08 12:43:00
asp实现的查询某关键词在MSSQL数据库位置的代码
2011-02-28 11:18:00
MySQL应用技巧之存取权限
2010-08-08 09:10:00
ASP、PHP与javascript根据时段切换CSS皮肤的代码
2008-09-01 17:26:00
Opencv实现二维直方图的计算及绘制
2023-07-18 23:34:52
Python爬虫实例_利用百度地图API批量获取城市所有的POI点
2023-01-11 15:30:37
python pip源配置,pip配置文件存放位置的方法
2023-01-25 09:51:46