深入浅析python3中的unicode和bytes问题

最近写了一些python3程序，四处能看到bytes类型，而它并不存在于python2中，这也是python3和python2显著区别之一。

以前在写python2代码的时候，经常会遇到很多编码报错的异常，原因在于python2对unicode的支持不是特别理想。而在python3中，所有编写的代码都是unicode，python解析器在运行的时候，内部都转换（除非你显示定义为bytes类型）为unicode，减少了出错的可能性。

在python3中，有两种字符串类型，默认的就是str，即unicode，也叫做文本类型。但一个程序总是会有I/O操作（磁盘，网络），即I/O二进制数据，在python3中定义为bytes类型。bytes类型就是一个个字节串，包含0~256 之间的一个整数。

那么如何定义bytes类型呢，有两种显示的方法，比如：

#只能允许ASCII值
x=b'abc'
y=b'\xe6\x88\x91'
print (x,y)
#对unicode字符集进行特定编码
t=bytes("我们","UTF-8")
#输出b'\xe6\x88\x91\xe4\xbb\xac'
#一个中文字符，UTF-8编码占用三个字节
print (t)
#返回6，对于python来说，就是字节序列的长度
print (len(t))
#返回2，代表两个字符
print (len("我们"))

接下去说说str类型和bytes类型之间的转换，比如从网络上读取到二进制数据后，python需要你显示的将其转换为str类型，也就是说 python不会隐式在str和bytes之间转换 ，看上去麻烦了很多，但会减少你出错的几率，自己明确自己做要的事情。

如果要将str转换为bytes，必须选择一个编码，明确二进制数据是如何编码的，比如：

x="我"
y=x.encode("UTF-8")
z=x.encode("GBK")
#b'\xe6\x88\x91' b'\xce\xd2'
print (y,z)

如果要将bytes转换为str，也需要一个编码，必须说明的是，你必须知道 二进制数据的编码是什么 ，如果选错了，转换为unicode的时候会错误，另外在python内部，它不关心二进制数据是什么编码的，只要是bytes类型， 它就是一串字节序列 ，比如：

x=b'\xe6\x88\x91'
print (x.decode("UTF-8"))
#会报错
print (x.decode("GBK"))

总之一句话，“ python内部使用unicode，外部使用bytes类型 ”，python内建库中，很多函数会说明需要str类型还是bytes类型（严格说来是bytes-like对象，比如bytes、bytearray ），在写代码的时候一定要看清楚，比如 hamc 库的new方法，就要求：

hmac.new(key, msg=None, digestmod=None) key is a bytes or bytearray object giving the secret key

很多库，尤其第三方库（比如requests）为了兼容python2和python3，会在内部做很多转换工作，让你意识不到bytes类型的存在，虽然生产力提高了，但对于理解python并没有太大的好处。

如果要充分理解bytes和str的应用，可以参考open和write两个内建函数。

使用文本方式打开文件，python在内部会自动转换为str类型，比如：

file ="t.txt"
t = open(file,mode="r").read()

而如果是二进制方式打开，如果要显示在终端，需要转换为str类型，比如：

file ="t.txt"
t = open(file,mode="rb").read()
print (t.decode())
print (t,type(t))

而如果是二进制方式写入，则将bytes类型数据直接写入，比如：

file="t.txt"
t=open(file,mode="wb")
t.write(b'\xe6\x88\x91')

在上面几个例子中，都没有说明使用那种编码，如果不显示指定，一般编码等同于locale.getpreferedencoding() 。

总结

以上所述是小编给大家介绍的python3中的unicode和bytes问题,希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对我们网站的支持！
如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！

赞 (0)

相关推荐

  • 关于你不想知道的所有Python3 unicode特性

    我的读者知道我是一个喜欢痛骂Python3 unicode的人.这次也不例外.我将会告诉你用unicode有多痛苦和为什么我不能闭嘴.我花了两周时间研究Python3,我需要发泄我的失望.在这些责骂中,仍然有有用的信息,因为它教我们如何来处理Python3.如果没有被我烦到,就读一读吧. 这次吐槽的内容会不一样.不会关联到WSGI或者HTTP及与其相关的东西.通常,我被告知我应该停止抱怨Python3 Unicode系统,因为我不写别人经常写的代码(HTTP库之类的东西),所以我这次准备写点别的

  • Python3中编码与解码之Unicode与bytes的讲解

    今天玩Python爬虫,下载一个网页,然后把所有内容写入一个txt文件中,出现错误: TypeError: write() argument must be str, not bytes AttributeError: 'URLError' object has no attribute 'code' UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' inposition 5747: illegal multibyte s

  • python3中bytes和string之间的互相转换

    前言 Python 3最重要的新特性大概要算是对文本和二进制数据作了更为清晰的区分.文本总是Unicode,由str类型表示,二进制数据则由bytes类型表示.Python 3不会以任意隐式的方式混用str和bytes,正是这使得两者的区分特别清晰.你不能拼接字符串和字节包,也无法在字节包里搜索字符串(反之亦然),也不能将字符串传入参数为字节包的函数(反之亦然). python3.0中怎么创建bytes型数据 bytes([1,2,3,4,5,6,7,8,9]) bytes("python&qu

  • Python3中bytes类型转换为str类型

    Python3中bytes类型转换为str类型

    Python 3最重要的新特性之一是对字符串和二进制数据流做了明确的区分.文本总是Unicode,由str类型表示,二进制数据则由bytes类型表示.Python 3不会以任意隐式的方式混用str和bytes,你不能拼接字符串和字节流,也无法在字节流里搜索字符串(反之亦然),也不能将字符串传入参数为字节流的函数(反之亦然). 问题背景 基于URL解析报文的时候,URL链接出现str类型+bytes类型是报错TypeError,如何解决这个问题呢? 解决方案 方法一:利用str函数 方法二:利用b

  • Python3编码问题 Unicode utf-8 bytes互转方法

    为什么需要本文,因为在对接某些很老的接口的时候,需要传递过去的是16进制的hex字符串,并且要求对传的字符串做编码,这里就介绍了utf-8 Unicode bytes 等等. #英文使用utf-8 转换成16进制hex字符串的方法 newstr = 'asd' b_str = bytes(newstr,encoding='utf-8') print(b_str) hex_str = b_str.hex() #将bytes类型转换成16进制的hex字符串 print(hex_str) #字节码转1

  • python3 unicode列表转换为中文的实例

    查了很多很多的资料无果,果然知乎牛逼,完美解决. 爬取网站时,最终得到list内容,编码为unicode,想让其转换为汉字并输出. 需要提取的为下图中unicode部分: 保存为列表,然后使用for循环: text为获取的网页. pat = '"group": {"text": "(.*?)"' text_list = re.compile(pat).findall(text) for i in text_list: print(i.encode

  • 深入浅析python3中的unicode和bytes问题

    最近写了一些python3程序,四处能看到bytes类型,而它并不存在于python2中,这也是python3和python2显著区别之一. 以前在写python2代码的时候,经常会遇到很多编码报错的异常,原因在于python2对unicode的支持不是特别理想.而在python3中,所有编写的代码都是unicode,python解析器在运行的时候,内部都转换(除非你显示定义为bytes类型)为unicode,减少了出错的可能性. 在python3中,有两种字符串类型,默认的就是str,即uni

  • 浅析Python3中的对象垃圾收集机制

    ###概述 GC作为现代编程语言的自动内存管理机制,专注于两件事:1. 找到内存中无用的垃圾资源 2. 清除这些垃圾并把内存让出来给其他对象使用. 在Python中,它在每个对象中保持了一个计数器,用于记录指向该对象的的引用的个数.一旦这个计数器为0时,则立即回收该对象,对象占用的内存空间将被释放. 引用计数 我们可以利用简单的变量引用和销毁窥见引用计数过程. 增加引用计数 增加引用计数的方式多种,即对象进行引用,那么计数器都会+1 # 创建第一个引用 a = 3 # 用其他变量名引用 b =

  • 浅析python3中的os.path.dirname(__file__)的使用

    Python的3.0版本,常被称为Python 3000,或简称Py3k.相对于Python的早期版本,这是一个较大的升级.为了不带入过多的累赘,Python 3.0在设计的时候没有考虑向下兼容. os.path.dirname(__file__)的作用是 返回脚本的路径,即文件路径中所在的目录(不包含文件名),如下: import os path = os.path.dirname('D:\test\t.py') print(path) 结果: D:\test Process finished

  • 浅析PHP中的UNICODE 编码与解码

    方法一: 复制代码 代码如下: <?phpfunction unicode_encode($name){    $name = iconv('UTF-8', 'UCS-2', $name);    $len = strlen($name);    $str = '';    for ($i = 0; $i < $len - 1; $i = $i + 2)    {        $c = $name[$i];        $c2 = $name[$i + 1];        if (ord

  • Python3中内置类型bytes和str用法及byte和string之间各种编码转换 问题

    Python 3最重要的新特性大概要算是对文本和二进制数据作了更为清晰的区分.文本总是Unicode,由str类型表示,二进制数据则由bytes类型表示.Python 3不会以任意隐式的方式混用str和bytes,正是这使得两者的区分特别清晰.你不能拼接字符串和字节包,也无法在字节包里搜索字符串(反之亦然),也不能将字符串传入参数为字节包的函数(反之亦然). python3.0中怎么创建bytes型数据 bytes([1,2,3,4,5,6,7,8,9]) bytes("python"

  • Python3中的bytes和str类型详解

    Python 3最重要的新特性之一是对字符串和二进制数据流做了明确的区分.文本总是Unicode,由str类型表示,二进制数据则由bytes类型表示.Python 3不会以任意隐式的方式混用str和bytes,你不能拼接字符串和字节流,也无法在字节流里搜索字符串(反之亦然),也不能将字符串传入参数为字节流的函数(反之亦然). 下面让我们深入分析一下二者的区别和联系. 编码发展的历史 在谈bytes和str之前,需要先说说关于编码是如何发展的.. 在计算机历史的早期,美国为代表的英语系国家主导了整

  • 浅析Python 3 字符串中的 STR 和 Bytes 有什么区别

    浅析Python 3 字符串中的 STR 和 Bytes 有什么区别

    Python2的字符串有两种:str和Unicode,Python3的字符串也有两种:str和Bytes.Python2的str相当于Python3的Bytes,而Unicode相当于Python3的Bytes. Python2里面的str和Unicode是可以混用的,在都是英文字母的时候str和unicode没有区别. 而Python3严格区分文本(str)和二进制数据(Bytes),文本总是Unicode,用str类型,二进制数据则用Bytes类型表示,这样严格的限制也让我们对如何使用它们有

随机推荐