python使用chardet判断字符串编码的方法
作者:liuli 时间:2023-02-02 06:45:20
本文实例讲述了python使用chardet判断字符串编码的方法。分享给大家供大家参考。具体分析如下:
最近利用python抓取一些网上的数据,遇到了编码的问题。非常头痛,总结一下用到的解决方案。
linux中vim下查看文件编码的命令 set fileencoding
python中一个强力的编码检测包 chardet ,使用方法非常简单。linux下利用pip install chardet实现简单安装
import chardet
f = open('file','r')
fencoding=chardet.detect(f.read())
print fencoding
fencoding输出格式 {'confidence': 0.96630842899499614, 'encoding': 'GB2312'} ,只能判断是否为某种编码的概率。比较准确的结果了。输入参数为str类型。
了解python中str的编码后可以利用decode和encode来实现编码的转换。
一般流程是str利用decode方法根据str的编码将其解码为unicode字符串类型,然后利用encode根据特定的编码将unicode字符串类型转换为特定的编码。python中str和unicode属于两种不同的类型,如下。
一般情况下window默认编码gbk,linux默认编码utf8
python编程中 系统编码,python编码,文件编码 的概念。
系统编码:默认写源码的编辑器的编码方式。它代表源码文件内的所有内容都是根据词方式编码成二进制码流。存入到磁盘中的。linux下通过locale命令查看。
python编码:指python内设置的解码方式。如果不设定的话,python默认的是ascii解码方式。如果python源代码文件中不出现中文的话,这个地方怎么设定应该不会问题。
设定方法:在源码文件开头(一定是第一行):#-*-coding:UTF-8-*-,源码文件的设置解码方式是UTF-8 或者
import sys
reload(sys)
sys.setdefaultencoding('UTF-8')
文件编码:文本的编码方式,linux下vim利用set fileencoding查看。
一般情况下输出乱码的原因就是 没有按照系统解码的方式进行编码。
比如print s, s类型为str,linux系统下系统默认编码为utf8编码,s在输出前就应该编码为utf8。如果s为gbk编码就应该这样输出。print s.decode('gbk').encode('utf8')才能输出中文。
window下面情况相同,window默认编码为gbk编码,所以s输出前必须编码为gbk。
python处理中一般处理unicode类型。这样输出前直接编码即可。
希望本文所述对大家的Python程序设计有所帮助。
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
python实现门限回归方式
![](https://img.aspxhome.com/file/2023/8/79668_0s.jpg)
python 中open文件路径的选择问题解析
![](https://img.aspxhome.com/file/2023/3/95693_0s.png)
asp使用XMLHTTP下载远程数据输出到浏览器
Python数据可视化之Seaborn的使用详解
![](https://img.aspxhome.com/file/2023/2/89292_0s.png)
Python arrow 更好的日期时间模块
![](https://img.aspxhome.com/file/2023/4/105064_0s.png)
python函数返回多个值的示例方法
python matplotlib绘图实现删除重复冗余图例的操作
asp如何制作一个倒计时的程序?
javascript获取来源的URL代码
Bootstrap响应式侧边栏改进版
![](https://img.aspxhome.com/file/2023/1/56051_0s.jpg)
python中的反斜杠问题深入讲解
python之OpenCV的作用以及安装案例教程
asp生成不需要数据库的中奖码
python密码学简单替代密码解密及测试教程
![](https://img.aspxhome.com/file/2023/2/62852_0s.jpg)
tesseract-ocr使用以及训练方法
![](https://img.aspxhome.com/file/2023/0/117610_0s.jpg)
Python配置文件yaml的用法详解
python集合的创建、添加及删除操作示例
Scrapy爬虫框架集成selenium及全面详细讲解
![](https://img.aspxhome.com/file/2023/2/95832_0s.jpg)
使用python进行图片的文字识别详细代码
![](https://img.aspxhome.com/file/2023/6/101336_0s.jpg)
Python基础 while循环与break、continue关键字
![](https://img.aspxhome.com/file/2023/3/64283_0s.jpg)