python爬虫 urllib模块url编码处理详解
作者:minger_lcm 时间:2021-09-13 02:24:37
案例:爬取使用搜狗根据指定词条搜索到的页面数据(例如爬取词条为‘周杰伦'的页面数据)
import urllib.request
# 1.指定url
url = 'https://www.sogou.com/web?query=周杰伦'
'''
2.发起请求:使用urlopen函数对指定的url发起请求,
该函数返回一个响应对象,urlopen代表打开url
'''
response = urllib.request.urlopen(url=url)
# 3.获取响应对象中的页面数据:read函数可以获取响应对象中存储的页面数据(byte类型的数据值)
page_text = response.read()
# 4.持久化存储:将爬取的页面数据写入文件进行保存
with open("sougou.html","wb") as f:
f.write(page_text)
print("写入数据成功")
f.close()
编码错误
【注意】上述代码中url存在非ascii编码的数据,则该url无效。如果对其发起请求,则会报如下错误:
UnicodeEncodeError: 'ascii' codec can't encode characters in position 15-17: ordinal not in range(128)
url的特性:url不可以存在非ASCII编码字符数据,url必须为ASCII编码的数据值。所以我们在爬虫代码中编写url时,如果url中存在非ASCII编码的数据值,则必须对其进行ASCII编码后,该url方可被使用。
上面的“周杰伦” 不是ASCII编码字符数据,所以url就会变成无效的url,不符合url特性,所以报错误
所以必须对url中的非ascii的数据进行ascii的编码,则该url方可被发起请求:
需要用到 urllib.parse
方法 1:使用quote函数
quote函数作用:对url中所存在的特殊字符进行ASCII的编码,把url中的非ascii编码的字符单独取出来,使用quote函数进行转码,
转码之后,把转码的结果拼接到原有的url当中。
import urllib.request
import urllib.parse
# 1.指定url
url = 'https://www.sogou.com/web?query=周杰伦'
word = urllib.parse.quote("周杰伦")
# 查看转码后结果
print(word)
# %E5%91%A8%E6%9D%B0%E4%BC%A6
from urllib.request import urlopen
import urllib.parse
# 1.指定url
url = 'https://www.sogou.com/web?query='
# url的特性:url不可以存在非ASCII编码字符数据
word = urllib.parse.quote("周杰伦")
# 将编码后的数据值拼接回url中
url = url+word # 有效url
'''
2.发起请求:使用urlopen函数对指定的url发起请求,
该函数返回一个响应对象,urlopen代表打开url
'''
response = urlopen(url=url)
# 3.获取响应对象中的页面数据:read函数可以获取响应对象中存储的页面数据(byte类型的数据值)
page_text = response.read()
# 4.持久化存储:将爬取的页面数据写入文件进行保存
with open("周杰伦.html","wb") as f:
f.write(page_text)
print("写入数据成功")
来源:https://www.cnblogs.com/mingerlcm/p/11335891.html
标签:python,爬虫,urllib,模块,url,编码处理
0
投稿
猜你喜欢
防止web项目中的SQL注入
2024-01-26 00:44:25
如何实现全文检索?
2010-05-24 18:24:00
用js实现预览待上传的本地图片
2024-06-19 13:50:35
Python面向对象之反射/自省机制实例分析
2022-07-27 06:57:53
Django 返回json数据的实现示例
2021-03-06 21:33:17
vue3.0封装轮播图组件的步骤
2024-05-09 09:30:16
前端开发中一些常用技巧总结
2010-07-18 13:13:00
Go语言反射获取类型属性和方法示例
2024-05-05 09:32:42
Python环境管理virtualenv&virtualenvwrapper的配置详解
2021-09-28 01:08:08
SQL的substring_index()用法实例(MySQL字符串截取)
2024-01-27 19:30:19
python“静态”变量、实例变量与本地变量的声明示例
2021-11-16 23:17:28
Python实现爬取天气数据并可视化分析
2023-02-09 00:33:14
使用jQuery简化Ajax开发
2010-04-11 21:09:00
django 发送手机验证码的示例代码
2023-05-07 03:42:37
全国哀悼日 建议站点换素装(附代码)
2008-05-19 12:05:00
python3 发送任意文件邮件的实例
2023-12-31 15:54:42
Python内建类型bytes深入理解
2022-11-13 08:35:54
pandas数据聚合与分组运算的实现
2021-09-18 18:29:12
python 直接赋值和copy的区别详解
2023-12-14 04:08:49
如何在SQL Server 2008下轻松调试T-SQL语句和存储过程
2024-01-20 15:40:45