python抓取并保存html页面时乱码问题的解决方法
作者:holybin 时间:2022-06-06 21:41:40
本文实例讲述了python抓取并保存html页面时乱码问题的解决方法。分享给大家供大家参考,具体如下:
在用Python抓取html页面并保存的时候,经常出现抓取下来的网页内容是乱码的问题。出现该问题的原因一方面是自己的代码中编码设置有问题,另一方面是在编码设置正确的情况下,网页的实际编码和标示的编码不符合造成的。html页面标示的编码在这里:
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
这里提供一种简单的办法解决:使用chardet判断网页的真实编码,同时从url请求返回的info判断标示编码。如果两种编码不同,则使用bs模块扩展为GB18030编码;如果相同则直接写入文件(这里设置系统默认编码为utf-8)。
import urllib2
import sys
import bs4
import chardet
reload(sys)
sys.setdefaultencoding('utf-8')
def download(url):
htmlfile = open('test.html','w')
try:
result = urllib2.urlopen(url)
content = result.read()
info = result.info()
result.close()
except Exception,e:
print 'download error!!!'
print e
else:
if content != None:
charset1 = (chardet.detect(content))['encoding'] #real encoding type
charset2 = info.getparam('charset') #declared encoding type
print charset1,' ', charset2
# case1: charset is not None.
if charset1 != None and charset2 != None and charset1.lower() != charset2.lower():
newcont = bs4.BeautifulSoup(content, from_encoding='GB18030') #coding: GB18030
for cont in newcont:
htmlfile.write('%s\n'%cont)
# case2: either charset is None, or charset is the same.
else:
#print sys.getdefaultencoding()
htmlfile.write(content) #default coding: utf-8
htmlfile.close()
if __name__ == "__main__":
url = 'https://www.jb51.net'
download(url)
得到的test.html文件打开如下,可以看到使用的是UTF-8无BOM编码格式存储的,也就是我们设置的默认编码:
希望本文所述对大家Python程序设计有所帮助。
标签:python,抓取,html,乱码,解决方法
0
投稿
猜你喜欢
ASP中使用存储过程介绍
2008-10-10 12:10:00
pycharm设置当前工作目录的操作(working directory)
2023-07-14 00:06:34
Python3查找列表中重复元素的个数的3种方法详解
2022-08-01 16:36:07
python读取中文txt文本的方法
2021-06-10 03:55:51
JavaScript入门学习书籍的阶段选择
2008-01-11 19:39:00
python中map()函数使用方法详解
2022-12-19 13:56:37
asp 多关键词搜索的简单实现方法
2011-04-11 10:45:00
详解Go语言中单链表的使用
2024-02-01 11:55:03
mybatis分页插件pageHelper详解及简单实例
2024-01-19 17:35:25
基于pandas将类别属性转化为数值属性的方法
2021-11-24 07:15:16
uniapp组件uni-popup弹出层的使用
2024-04-28 09:47:55
Python接口测试数据库封装实现原理
2024-01-27 11:19:46
JS高阶函数原理与用法实例分析
2024-05-09 10:36:21
Swoole webSocket消息服务系统代码设计详解
2023-06-09 01:05:28
6个卓越Web设计细节
2010-03-29 12:56:00
通过asp程序来创建access数据库
2011-04-02 11:17:00
SQL Server 2005删除日志文件的几种方法小结
2024-01-25 08:29:05
Python入门第1/10页
2023-03-19 19:34:34
解决python DataFrame 打印结果不换行问题
2023-11-20 23:12:25
浅谈Python中range与Numpy中arange的比较
2021-05-21 00:15:48