彻彻底底地理解Python中的编码问题
Python处理文本的功能非常强大，但是如果是初学者，没有搞清楚python中的编码机制，也经常会遇到乱码或者decode error。本文的目的是简明扼要地说明python的编码机制，并给出一些建议。
问题1：问题在哪里？
问题是我们的靶子，心中没有问题去学习就会抓不住重点。
本文使用的编程环境是centos6.7，python2.7。我们在shell中键入python以打开python命令行，并键入如下两句话：
s = "中国zg"
e = s.encode("utf-8")
现在的问题是：这段代码能运行吗？
答案是不能，会报如下的错：
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)
请留意一下错误中说明的0xe4，它是我们分析错误的突破口。
相信很多人都遇到过这个错误。那么新的问题来了。
问题2：Why？
要搞清楚原因，我们不妨认真分析下这两句话的执行流程：
首先，我们通过键盘在python命令行解释器中键入了 中国zg 并且给它加上了英文的双引号，然后又赋值给了变量s，看起来很稀松平常是不是？其实里面大有玄机。
当我们通过键盘在程序中输入字符时，我们是通过操作系统完成这个功能的。我们在屏幕上看到的 中国zg 实际上是操作系统给我们人类的一个反馈，告诉你：“嗨，哥们，你在程序中输入了字符 中国zg ”
那操作系统给程序的反馈是什么呢？答案就是01串，这个01串是什么样子，又是怎么生成的呢？
答案就是操作系统使用自己的默认编码方式，将中国zg进行了编码，并把编码后的01串给了程序。
我们用的centos系统默认的编码是utf-8，所以，只要知道中国zg每个字符的utf-8的编码就可以知道01串是什么了。
查询后，可以获得它们的编码是(以16进制和2进制表示)：
| 中 | 国 | z | g |
|---|---|---|---|
| E4B8AD | E59BBD | 7A | 67 |
| 11100101 10011011 10111101 | 11100101 10011011 10111101 | 01111010 | 01100111 |
现在我们知道操作系统传给程序的01串长什么样子了。然后，程序会怎么处理它呢？
程序看到这个01串被双引号包围着，自然知道这个01串是一个字符串。然后这个字符串被赋值给了s。
到此，就是第一句的执行逻辑。
现在继续进行第二句的执行。
e = s.encode("utf-8")的意思是将字符串s用utf-8进行编码，并将编码后的字符串赋值给e。问题来了，程序现在知道s中的01串，还知道这个01串表示的是字符串，但这个字符串的编码是什么呢？我们必须知道01串的现有编码才能解析出里面的字符，也才能用新的编码方式，如utf-8来重新编码它。操作系统只给程序传来了01串，并没有告诉程序这个01串用的字符编码是什么。
此时，python程序就会用它自己默认的编码当作s的编码，进而来识别s中的内容。这个默认的编码是ASCII，所以，它会用ASCII来解释这个01串，识别出字符串的内容，再将这个字符串转为utf-8编码。
好了，程序碰到的第一个字节就是E4（11100101 ），傻眼！ ASCII编码中没有这玩意儿，因为ASCII编码中字节第一位都是0。
怎么办？
报错呗，于是我们就看到了上面的错误。
错误中的0xe4就是字符 “中” 的utf8编码的第一个字节。
问题3：How？
知道问题出在哪里了，怎么解决这个问题呢？
显然，我们只要告诉程序，这个s中的01串的编码是utf-8，程序就应该能正确工作。
但这样的解决方法有一个问题，就是不够通用。
假如我有个程序，它要读取很多文本文件，每个文本文件的编码都不一样，岂不是针对每个读进来的文件都维护一个编码信息？很繁琐。
进一步，如果这些文本文件的内容还要做相互的比较连接之类的操作，编码都不一致，岂不是更麻烦？
python是怎么聪明地解决这个问题的呢？
很简单，就是decode！
decode的意思是说，你有一个字符串，并且你知道它的编码，只要你用该编码decode这个字符串，那么，python就会识别出里面的字符内容，同时，建一个int数组，将每个字符的unicode序号存进去。
所有的字符串都这样做，就可以确保在程序运行过程中，各种来源获得的字符串都有一样的表示。它们就可以方便地进行各种操作了。
上面说的 int数组会被python封装成一个对象，即unicode对象。
问题4：如何搞定？
下面，我们在python命令行中输入如下两行代码：
e = s.decode("utf-8")
isinstance(e,unicode)
程序的输出是True，这说明，decode后返回的e确实是一个unicode对象。
unicode在这里是一个类，是python里面的类。
e 被称作unicode字符串，意思是说，它存的是字符的unicode序号，并没有使用任何编码。
然后，我们就可以将e编码成任意一种编码，比如下面的操作都是可以的
e.encode("utf-8")
e.encode("gbk")
只要你选择的编码能够对e中的字符进行编码即可，如果不能编码，就会报错。
比如，如果你尝试这样：
e.encode("ascii")
由于ASCII并不能编码 中国 这两个字符，所以会爆出 encode error。
至此，我们已经看到了两种错误，decode error 和encode error，并解决了它们。
问题5：如何评价python的这种字符编码处理方法？
首先，这样的处理方法非常的简单。任何文本，只要它进入程序时进行一次decode，就会变成unicode对象，里面用int存着每个字符的unicode序号。只要在这个文本要输出时再进行一次encode，编码成我们需要的编码就可以了。
问题是，所有的字符都用一个int来表示会不会太浪费空间？毕竟，用ASCII编码，英文的字符只要一个字节就可以了。
确实会费点空间，但是现在的内存都足够大，而且我们只在程序内部使用这种方式，当字符串要写入文件或者通过网络传输时，我们都会进行相应的编码的。
还有一个问题，那些写死在程序中的字符串怎么办？难道每次使用都要进行一次decode?不同的操作系统默认使用的编码是不一样的，当我们在linux下，通常需要用utf8做decode，在Windows下，通常需要用gbk做 decode。这样，我们的代码就只能在特定的平台运行。
python给我们提供了一个很简单的办法，只要在字符串前面加一个u，它就会帮我们探测系统的编码，并自动完成decode。
问题6：总结下，学到了什么？
本文用一个很常见的错误为起点，详细分析了python中的编码问题。我们看到了python处理字符问题的简单之处，也能够理解为什么python有这么强大的文本处理功能。
测试题:看你是否真正理解了。
假设一台linux上有一个文件a.txt，里面的内容是"中文"两个字符，编码方式是utf-8。
现在，在python程序中写如下语句:
import codec
s=""
with codec.open("a.txt",encoding="utf-8") as f:
s=f.readline().strip()
with open("b.txt","w") as f:
f.write(s)
请问这段代码能执行吗？为什么？
答案:不能！
s底下的表示是unicode,写出时python会对其进行编码，默认用的ascii编码无法对"中文"两个字符进行编码，所以会报错！
总结
以上所述是小编给大家介绍的彻彻底底地理解Python中的编码问题，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对我们网站的支持！
相关推荐
-
Python3如何解决字符编码问题详解
编码 因为计算机只能处理数字,如果要处理文本,就必须先把文本转换为数字才能处理.最早的计算机在设计时采用8个比特(bit)作为一个字节(byte),所以,一个字节能表示的最大的整数就是255(二进制11111111=十进制255),如果要表示更大的整数,就必须用更多的字节.比如两个字节可以表示的最大整数是65535,4个字节可以表示的最大整数是4294967295. 由于计算机是美国人发明的,因此,最早只有127个字母被编码到计算机里,也就是大小写英文字母.数字和一些符号,这个编码表被称为ASC
-
Python设置默认编码为utf8的方法
本文实例讲述了Python设置默认编码为utf8的方法.分享给大家供大家参考,具体如下: 这是Python的编码问题,设置python的默认编码为utf8 python安装目录:/etc/python2.x/sitecustomize.py import sys reload(sys) sys.setdefaultencoding('utf-8') try: import apport_python_hook except ImportError: pass else: apport_pytho
-
python3编码问题汇总
这两天写了个监测网页的爬虫,作用是跟踪一个网页的变化,但运行了一晚出现了一个问题....希望大家不吝赐教! 我用的是python3,错误在对html response的decode时抛出,代码原样为: response = urllib.urlopen(dsturl) content = response.read().decode('utf-8') 抛出错误为 File "./unxingCrawler_p3.py", line 50, in getNewPhones content
-
Python 编码处理-str与Unicode的区别
一篇关于STR和UNICODE的好文章 整理下python编码相关的内容 注意: 以下讨论为Python2.x版本, Py3k的待尝试 开始 用python处理中文时,读取文件或消息,http参数等等 一运行,发现乱码(字符串处理,读写文件,print) 然后,大多数人的做法是,调用encode/decode进行调试,并没有明确思考为何出现乱码 所以调试时最常出现的错误 错误1 Traceback (most recent call last): File "<stdin>"
-
python判断字符串编码的简单实现方法(使用chardet)
本文实例讲述了python判断字符串编码的方法.分享给大家供大家参考,具体如下: 安装chardet模块 chardet文件夹放在/usr/lib/python2.4/site-packages目录下 [root@sha-sso-data01 chardet]# python Python 2.4.3 (#1, Sep 21 2011, 19:55:41) [GCC 4.1.2 20080704 (Red Hat 4.1.2-51)] on linux2 Type "help", &q
-
详解Python中使用base64模块来处理base64编码的方法
base64模块是用来作base64编码解码的.这种编码方式在电子邮件中是很常见的. 它可以把不能作为文本显示的二进制数据编码为可显示的文本信息.编码后的文本大小会增大1/3. 闲话不说了,base64模块真正用的上的方法只有8个,分别是encode, decode, encodestring, decodestring, b64encode,b64decode, urlsafe_b64decode,urlsafe_b64encode.他们8个可以两两分为4组,encode,decode一组,专
-
python实现unicode转中文及转换默认编码的方法
本文实例讲述了python实现unicode转中文及转换默认编码的方法.分享给大家供大家参考,具体如下: 一.在爬虫抓取网页信息时常需要将类似"\u4eba\u751f\u82e6\u77ed\uff0cpy\u662f\u5cb8"转换为中文,实际上这是unicode的中文编码.可用以下方法转换: 1. >>> s = u'\u4eba\u751f\u82e6\u77ed\uff0cpy\u662f\u5cb8' >>> print s 人生苦短,
-
彻彻底底地理解Python中的编码问题
Python处理文本的功能非常强大,但是如果是初学者,没有搞清楚python中的编码机制,也经常会遇到乱码或者decode error.本文的目的是简明扼要地说明python的编码机制,并给出一些建议. 问题1:问题在哪里? 问题是我们的靶子,心中没有问题去学习就会抓不住重点. 本文使用的编程环境是centos6.7,python2.7.我们在shell中键入python以打开python命令行,并键入如下两句话: s = "中国zg" e = s.encode("utf-8
-
深入理解python中函数传递参数是值传递还是引用传递
目前网络上大部分博客的结论都是这样的: Python不允许程序员选择采用传值还是传 引用.Python参数传递采用的肯定是"传对象引用"的方式.实际上,这种方式相当于传值和传引用的一种综合.如果函数收到的是一个可变对象(比如字典 或者列表)的引用,就能修改对象的原始值--相当于通过"传引用"来传递对象.如果函数收到的是一个不可变对象(比如数字.字符或者元组)的引用,就不能 直接修改原始对象--相当于通过"传值"来传递对象. 你可以在很多讨论该问题
-
深入理解python中的浅拷贝和深拷贝
在讲什么是深浅拷贝之前,我们先来看这样一个现象: a = ['scolia', 123, [], ] b = a[:] b[2].append(666) print a print b 为什么我只对b进行修改,却影响到了a呢?看过我在之前的文章中就说过:序列中保存的都是内存的引用. 所以,当我们通过b去修改里面的空列表的时候,其实就是修改内存中的同一个对象,所以会影响到a. a = ['scolia', 123, [], ] b = a[:] print id(a), id(a[0]), id(
-
全面理解Python中self的用法
刚开始学习Python的类写法的时候觉得很是麻烦,为什么定义时需要而调用时又不需要,为什么不能内部简化从而减少我们敲击键盘的次数?你看完这篇文章后就会明白所有的疑问. self代表类的实例,而非类. 实例来说明: class Test: def prt(self): print(self) print(self.__class__) t = Test() t.prt() 执行结果如下 <__main__.Test object at 0x000000000284E080> <class
-
深入理解python中的闭包和装饰器
python中的闭包从表现形式上定义(解释)为:如果在一个内部函数里,对在外部作用域(但不是在全局作用域)的变量进行引用,那么内部函数就被认为是闭包(closure). 以下说明主要针对 python2.7,其他版本可能存在差异. 也许直接看定义并不太能明白,下面我们先来看一下什么叫做内部函数: def wai_hanshu(canshu_1): def nei_hanshu(canshu_2): # 我在函数内部有定义了一个函数 return canshu_1*canshu_2 return
-
深入理解Python中的*重复运算符
在python中有个特殊的符号"*",可以用做数值运算的乘法算子,也是用作对象的重复算子,但在作为重复算子使用时一定要注意 注意的是:*重复出来的各对象具有同一个id,也就是指向在内存中同一块地址,在对各个对象进行操作是一定要注意. 举例来说: >>> alist = [range(3)]*4 >>> alist [[0, 1, 2], [0, 1, 2], [0, 1, 2], [0, 1, 2]] 上面初始化一个二层列表用来模拟矩阵,该矩阵式4X
-
如何理解Python中包的引入
Python的from import *和from import *,它们的功能都是将包引入使用,但是它们是怎么执行的以及为什么使用这种语法呢? 从一模块导入全部功能 from import * means意味着"我希望能访问中我有权限访问的全部名称".例如以下代码something.py: # something.py public_variable = 42 _private_variable = 141 def public_function(): print("I'm
-
如何理解python中数字列表
数字列表和其他列表类似,但是有一些函数可以使数字列表的操作更高效.我们创建一个包含10个数字的列表,看看能做哪些工作吧. # Print out the first ten numbers. numbers = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] for number in numbers: print(number) range() 函数 普通的列表创建方式创建10个数是可以的,但是如果想创建大量的数字,这种方法就不合适了.range() 函数就是帮助我们生成大量数
-
如何理解Python中的变量
变量 在Python中,存储一个数据,需要定义一个变量 number1 = 1 #numbe1就是一个变量,用来保存数据:1 number2 = 2 #number2也是一个变量,用来保存数据:2 sum = number1+number2 #sum也是一个变量,用力保存1+2的值 说明: 所谓变量:就是可以改变的量. 程序就是用来处理数据的,而变量就是用来存储数据的 python中的变量不需要指明类型,系统会自动识别 内容扩展: 变量命名 1.下划线或大小写字母开头,后面可跟下划线.大小写字母
-
深入理解Python中__init__.py文件
目录 1. 简介 1.1 模块(Module)和包(Package)的概念 1.2 __init__.py文件简介 2. __init__.py内容写法 2.1 __init__.py文件内容 2.2 __init__.py内容解释 1. 简介 1.1 模块(Module)和包(Package)的概念 模块是程序,任何Python程序都可以作为模块导入.写在脚本.py文件中的函数,比如xx.py,可以在另一个模块或者脚本中通过import xx进行导入.如果要导入xx.py中的函数yy,就写成f