Python编解码问题及文本文件处理方法详解
作者:自动化代码美学 发布时间:2021-04-13 07:52:06
编解码器
在字符与字节之间的转换过程称为编解码,Python自带了超过100种编解码器,比如:
ascii(英文体系)
gb2312(中文体系)
utf-8(全球通用)
latin1
utf-16
编解码器一般有多个别名,比如utf8、utf-8、U8。
这些编解码器可以传给open()、str.encode()、bytes.decode()等函数的encoding参数。
UnicodeEncodeError
多数非UTF编解码器(比如cp437)只能处理Unicode字符的一小部分子集。把字符转换成字节时,如果目标编码中没有定义这个字符,那么就会抛出UnicodeEncodeError异常。
处理方式一:使用utf8编码。
处理方式二:添加errors参数:
# 忽略 如b'So Paulo'
city.encode("cp437", errors="ignore")
# 替换为? 如b'S?o Paulo'
city.encode("cp437", errors="replace")
# 替换为XML实体 如b'São Paulo'
city.encode("cp437", errors="xmlcharrefreplace")
UnicodeDecodeError
把字节转换为字符时,遇到无法转换的字节时会抛出UnicodeDecodeError异常。这是因为不是每个字节都包含有效的ASCII字符,也不是每个字符都是有效的UTF-8。
处理方式也有两种,跟上面一样。
SyntaxError
Python3默认使用UTF-8编码源码。如果加载的.py模块中包含UTF-8之外的数据,而且没有声明编码,就会抛出SyntaxError异常。
处理方式是在文件顶部添加coding注释:
# coding: cp1252
但是这个办法并不好,最好还是找到这些报错字符,把它们转换为UTF-8。
从网上直接复制代码到IDE中执行经常会报这个错。
处理文本文件
Unicode三明治:
在程序中尽量少接触二进制,把字节解码为字符,只处理字符串对象。比如在Django中,view应该输出Unicode字符串,Django会负责把响应数据编码成字节序列,而且默认使用UTF-8编码。
Python内置的open函数就是采用了这个原则,在读取文件时会做必要的解码,以文本模式写入文件时会做必要的编码。
文件乱码
Windows更容易遇到这个问题,因为Windows并不是统一的UTF-8编码,比如在Windows10中:
>>> open("cafe.txt", "w", encoding="utf8").write("café")
4
>>> open("cafe.txt").read()
'caf茅'
写入文件时指定了utf8,但是读取文件没有指定,Python就会使用系统默认编码:
>>> import locale
# 打开文件用这个
# 如果没有设置PYTHONENCODING环境变量,sys.stdout/stdin/stderr也用这个
>>> locale.getpreferredencoding()
'cp936'
cp936把最后一个字节解码成了茅而不是é。
>>> import sys
# 二进制数据和字符串之间转换用这个
>>> sys.getdefaultencoding()
'utf-8'
>>> import sys
# 文件名(不是文件内容)用这个
>>> sys.getfilesystemencoding()
'utf-8'
GNU/Linux或Mac OS X不会遇到这个问题,因为多年来它们的默认编码都是UTF-8。
解决办法是一定不能依赖系统默认编码,打开文件时始终应该明确传入encoding=参数,因为不同的设备使用的默认编码可能不同,有时隔一天也会发生变化。
小结
本文介绍了Python的编解码器,以及可能出现的UnicodeEncodeError、UnicodeDecodeError、SyntaxError问题,然后给出了Python的open函数处理文本文件的原则,最后对Windows容易出现的文件乱码问题进行了说明。
参考资料:
《流畅的Python》
来源:https://www.cnblogs.com/df888/p/14901346.html
猜你喜欢
- 目录前置知识可迭代对象如何判断一个对象是否是可迭代对象?enumerate 函数多嵌套列表总结前置知识如果给定一个 list 或 tuple
- 树和图的数据结构,就很有意思啦。# coding = utf-8class BinaryTree:def __init__(self, ro
- 对于一个设了自动增长标识的数据表来说,它的字段的值是由数据库自动设置的;这在导数据时很麻烦。 当我们导数据时,我们往往想想将标识字段的数据也
- Guide to the Section 508 Standards for Electronic and Information Tech
- 下面的代码使用正则表达式验证输入格式包括了验证邮箱和验证手机号码package com.firewolf.utils;import java
- 使用pandas下的cumsum函数cumsum:计算轴向元素累积加和,返回由中间结果组成的数组.重点就是返回值是"由中间结果组成
- 有很多应用项目, 刚起步的时候用MYSQL数据库基本上能实现各种功能需求,随着应用用户的增多,数据量的增加,MYSQL渐渐地出现不堪重负的情
- 一、前言好不容易女神喊我去看电影,但是她又不知道看啥,那么我当然得准备准备~二、前期准备1、使用的软件python 3.8 开源 免费的 (
- 今天重新研究了下VB里面的ScriptControl组件,发现asp里面也能调用。研究了下方法,后来和lcx讨论了下。得到了如下代码,在此感
- 在 C/C++ 中,传值和传引用是函数参数传递的两种方式,在Python中参数是如何传递的?回答这个问题前,不如先来看两段代码。代码段1:d
- 学用python也有3个多月了,用得最多的还是各类爬虫脚本:写过抓代理本机验证的脚本,写过在discuz论坛中自动登录自动发贴的脚本,写过自
- 实验环境:tensorflow版本1.2.0,python2.7介绍惯例先展示函数:tf.nn.conv2d(input, filter,
- 方法一: 代码如下:id=request.form("checkbox") id=Split(id,"
- 写入文件使用open()函数和write()函数但是有两种写法,分别是'a'和'w'。'a'
- 这篇文章演示如何将训练好的pytorch模型部署到安卓设备上。我也是刚开始学安卓,代码写的简单。环境:pytorch版本:1.10.0模型转
- 决策树之ID3算法及其Python实现,具体内容如下主要内容决策树背景知识决策树一般构建过程ID3算法分裂属性的选择ID3算法流程及其优缺点
- 完整系列教程详见:http://golang.iswbm.com在 Golang 中用于执行命令的库是 os/exec,exec.Comma
- 简介:Python下有许多款不同的 Web 框架。Django是重量级选手中最有代表性的一位。许多成功的网站和APP都基于Django。Dj
- 首先,说明一下python确实可以根据照片获取地理位置,但是也是有一定的限制条件的。获取照片地理位置的实现思路是这样的:通过提取照片中的经纬
- 本文实例讲述了django框架自定义用户表操作。分享给大家供大家参考,具体如下:django中已经给我生成默认的User表,其中的字段已经可