Python学习札记(五) Basic2 字符串和编码

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

参考：字符串和编码

Note

A.字符编码

1.计算机处理文本 == 将文本转换为二进制 => 处理

2.8 bit(比特) = 1 byte(字节)

一个字节所能表示的最大的十进制整数是255，也就是二进制的11111111；两个字节 => 65535；四个字节 => 4294967295。

3.编码标准

美国的编码表 => ASCII编码表；中国的编码表(用两个字节表示汉字) => GB2312。

问题：各国有各国的编码，有如此多的编码，就会出现冲突，在多语言混合的文本中，会显示乱码。

解决方法：诞生Unicode。

Unicode vs ASCII：a.Unicode使用两个字节，ASCII使用一个字节。b.ASCII转Unicode，在前面补0.

eg.字符A：ASCII编码 => 01000001；Unicode编码：00000000 01000001。

Unicode的问题：

如果统一成Unicode编码，乱码问题从此消失了。但是，如果你写的文本基本上全部是英文的话，用Unicode编码比ASCII编码需要多一倍的存储空间，在存储和传输上就十分不划算。

解决方法：使用“可变长编码”UTF-8编码。

UTF-8：根据字符大小编码成1~6个字节 => 英文字母1个；中文3个。

eg.

字符ASCII Unicode UTF-8 A01000001 00000000 0100000101000001 中x 01001110 0010110111100100 10111000 10101101

UTF-8编码的好处：遗留的使用ASCII编码的软件可以在UTF-8下继续工作。

4.计算机系统的字符编码工作：

在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码。

内存 => Unicode; 传输 => UTF-8

B.Python的字符串

1.在Python3版本中，使用的是Unicode编码，也就是说它支持多语言。

>>> print('你好') 你好

2.对于单个字符，Python提供了两个函数：a.ord()函数，得到字符的整数表示；b.chr()函数，把编码转换为对应的字符。

ord()：

>>> ord('我') 25105 >>> ord('a') 97

chr()：

>>> chr(29233) '爱' >>> chr(97) 'a'

3.Python的字符串类型是str => 内存中使用Unicode表示 => 一个字符对应多个字节；如果要传输 => 字符以字节byte为单位 => 一个字符对应一个字节。

x = b'ABC'

注意区分'ABC'和b'ABC'：'ABC'是str，使用的是Unicode编码；而b'ABC'进行了转换，一个字符对应一个字节(如果字符对应有多个字节，则不能使用ASCII编码，见下一点)。

其实意思就是，对文本进行编码，编码前的字符串是'str'，编码后的字符串则是b'str'，以字节封装。

4.用Unicode表示的str通过encode()方法可以编码为指定的bytes，编码方式不含Unicode：

>>> 'ABC'.encode('ascii') b'ABC' >>> 'ABC'.encode('utf-8') b'ABC' >>> '我爱你'.encode('utf-8') b'\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0' >>> '我爱你'.encode('ascii') Traceback (most recent call last): File "<stdin>", line 1, in <module> UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-2: ordinal not in range(128)

可以看到，中文是不能用ASCII编码方法进行编码的。

>>> x = b'我爱你' File "<stdin>", line 1 SyntaxError: bytes can only contain ASCII literal characters.

可以看到，使用语句x = b'[str]'，默认将[str]转换为ASCII编码的字符串，再赋值给x。

5.有编码，也就有解码，Python提供decode()方法将编码(以byte为单位)转换为Unicode字符串(以bit为单位)：

>>> b'ABC'.decode('ascii') 'ABC' >>> b'我爱你'.decode('ascii') File "<stdin>", line 1 SyntaxError: bytes can only contain ASCII literal characters. >>> b'iloveyou'.decode('ascii') 'iloveyou'

>>> '我爱你'.encode('utf-8') b'\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0' >>> b'\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0'.decode() '我爱你'

6.Python提供了计算字符串str长度的函数len()，当是bstr时，计算的就是字节数。

>>> len('ABC') 3 >>> len(b'ABC') 3 >>> len('我爱你') 3 >>> len(b'\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0'.decode('utf-8')) //对bytes字符串进行解码 3 >>> len('我爱你'.encode('utf-8')) //对字符串“我爱你”进行编码、编码方式utf-8. 9 >>> len(b'\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0') 9

可见，1个中文字符经过UTF-8编码后通常会占用3个字节，而1个英文字符只占用1个字节。

总结：为了避免乱码问题，应当始终坚持使用UTF-8编码对str和bytes进行转换。

Hint：

在Python脚本的前面，一般加上这两句话：

#!/usr/bin/env python3 //使计算机识别出这是一个Python的可执行文件 # -*- coding: utf-8 -*- //告诉Python解释器，按照UTF-8编码读取源代码

同时也要确保你的文本编辑器使用UTF-8编码方式。

格式化

Python使用%来格式化字符串，这一点和C语言一致。

常见的占位符有：

%d整数 %f浮点数 %s字符串 %x十六进制整数

eg.

#!/usr/bin/env python3print('Hi, My name is %s' % 'Chen')# Hint: no ","print('Ethernet Type: %x, My QQ number: %s' % (0x0800, '952693358'))print('My Student Number: %d' % 15)

sh-3.2# ./basic1.py Hi, My name is %s Chen Ethernet Type: %x, My QQ number: %s (2048, '952693358') My Student Number: %d 15 sh-3.2# ./basic1.py Hi, My name is Chen Ethernet Type: 800, My QQ number: 952693358 My Student Number: 15

注意点：a.在%号前面没有“,”! b.如果字符串中出现%，使用两个%进行转移，即“%%”。

小数点后两位：

print('%.2f' % 3.1415926535)

确定位数，不足补0或空格：

print('%02d' % 1)输出： >>> 01print('2d' % 1)输出： >>> [空格]1