python3编码函数,python3代码大全

python3.4 编码有哪些

Python3中的编码问题前，第一个段落对字节、ASCII与Unicode与UTF-8等进行基本介绍，如果不对这几种编码犯头晕，可直接跳过。

ASCII与Unicode与UTF-8与GBK

首先从老大哥说起。跟很多人一样，大学读了这么久，久仰ASCII编码的大名。要说这个老大哥，我们再先从字节说起。一个字节包括八个比特位，每个比特位表示0或1，一个字节即可表示从00000000到11111111共2^8=256个数字。一个ASCII编码使用一个字节（除去字节的最高位作为作奇偶校验位），ASCII编码实际使用一个字节中的7个比特位来表示字符，共可表示2^7=128个字符。比如那时写C语言的程序，就经常要背下ASCII编码中的01000001（即十进制的65）表示字符‘A’，01000001加上32之后的01100001（即十进制的97）表示字符‘a’。现在打开Python，调用chr和ord函数，我们可以看到Python为我们对ASCII编码进行了转换。

第一个00000000表示空字符，因此ASCII编码实际上只包括了

字母、标点符号、特殊符号等共127个字符。因为ASCII是在美国出生的，对于由字母组成单词进而用单词表达的英文来说也是够了。但是中国人、日本人、

韩国人等其他语言的人不服了。中文是一个字一个字，ASCII编码用上了浑身解数256个字符都不够用。

因此后来出现了Unicode编码。Unicode编码通常由两个字节组成，共表示256*256个字符，即所谓的UCS-2。某些偏僻字还会用到四个字节，即所谓的UCS-4。也就是说Unicode标准也还在发展。但UCS-4出现的比较少，我们先记住：最原始的ASCII编码使用一个字节编码，但由于语言差异字符众多，人们用上了两个字节，出现了统一的、囊括多国语言的Unicode编码。

在Unicode中，原本ASCII中的127个字符只需在前面补一个全零的字节即可，比如前文谈到的字符‘a’：01100001，在Unicode中变成了00000000 01100001。不久，美国人不开心了，吃上了世界民族之林的大锅饭，原本只需一个字节就能传输的英文现在变成两个字节，非常浪费存储空间和传输速度。

人们再发挥聪明才智，于是出现了UTF-8编码。因为针对的是空间浪费问题，因此这种UTF-8编码是可变长短的，从英文字母的一个字节，到中文的通常的三个字节，再到某些生僻字的六个字节。解决了空间问题，UTF-8编码还有一个神奇的附加功能，那就是兼容了老大哥的ASCII编码。一些老古董软件现在在UTF-8编码中可以继续工作。

注意除了英文字母相同，汉字在Unicode编码和UTF-8编码中通常是不同的。比如汉字的‘中’字在Unicode中是01001110

00101101，而在UTF-8编码中是11100100 10111000

10101101。

我们祖国母亲自然也有自己的一套标准。那就是GB2312和GBK。当然现在挺少看到。通常都是直接使用UTF-8。记得我唯一一次看到GB编码的网页，是一个成人网站。

Python3中的默认编码

Python3中默认是UTF-8，我们通过以下代码：

import sys

sys.getdefaultencoding()

可查看Python3的默认编码。

Python3中的encode和decode

Python3中字符编码经常会使用到decode和encode函数。特别是在抓取网页中，这两个函数用的熟练非常有好处。我的理解，encode的作用，使我们看到的直观的字符转换成计算机内的字节形式。decode刚好相反，把字节形式的字符转换成我们看的懂的、直观的、“人模人样”的形式。如下图。

\x表示后面是十六进制，\xe4\xb8\xad即是二进制的11100100 10111000

10101101。也就是说汉字‘中’encode成字节形式，是11100100 10111000

10101101。同理，我们拿11100100

10111000 10101101也就是\xe4\xb8\xad来decode回来，就是汉字‘中’。完整的应该是b'\xe4\xb8\xad'，在Python3中，以字节形式表示的字符串则必须加上前缀b，也就是写成上文的b'xxxx'形式。

前文说的Python3的默认编码是UTF-8，所以我们可以看到，Python处理这些字符的时候是以UTF-8来处理的。因此从上图可以看到，就算我们通过encode('utf-8')特意把字符encode为UTF-8编码，出来的结果还是相同：b'\xe4\xb8\xad'。

明白了这一点，同时我们知道UTF-8兼容ASCII，我们可以猜想大学时经常背诵的‘A’对应ASCII中的65，在这里是不是也能正确的decode出来呢。十进制的65转换成十六进制是41，我们尝试下：

b'\x41'.decode()

结果如下。果然是字符‘A’

Python3中的编码转换

据说字符在计算机的内存中统一是以Unicode编码的。只有在字符要被写进文件、存进硬盘或者从服务器发送至客户端（例如网页前端的代码）时会变成utf-8。但其实我比较关心怎么把这些字符以Unicode的字节形式表现出来，露出它在内存中的庐山正面目的。这里有个照妖镜：

xxxx.encode/decode('unicode-escape')

输出如下

b'\\u4e2d'还是b'\u4e2d，一个斜杠貌似没影响。同时可以发现在shell窗口中，直接输'\u4e2d'和输入b'\u4e2d'.decode('unicode-escape')是相同的，都会打印出汉字‘中’，反而是'\u4e2d'.decode('unicode-escape')会报错。说明说明Python3不仅支持Unicode，而且一个‘\uxxxx’格式的Unicode字符可被辨识且被等价于str类型。

如果我们知道一个Unicode字节码，怎么变成UTF-8的字节码呢。懂了以上这些，现在我们就有思路了，先decode，再encode。代码如下：

xxx.decode('unicode-escape').encode()

测试如下：

可以看到最后输出的UTF-8字节与上面的相同。尝试成功。所以其他的编码之间的转换，大概也是如此。

最后的扩展

还记得刚刚那个ord吗。时代变迁，老大哥ASCII被人合并，但ord还是有用武之地。试试ord('中')，输出结果是20013。20013是什么呢，我们再试试hex(ord('中'))，输出结果是'0x4e2d'，也就是20013是我们在上文见面了无数次的x4e2d的十进制值。这里说下hex，是用来转换成十六进制的函数，学过单片机的人对hex肯定不会陌生。

最后的扩展，在网上看到的他人的问题。我们写下类似于'\u4e2d'的字符，Python3知道我们想表达什么。但是让Python读取某个文件的时候出现了'\u4e2d'，是不是计算机就不认识它了呢？后来下文有人给出了答案。如下：

import codecs

file = codecs.open( "a.txt", "r", "unicode-escape" )

u = file.read()

print(u)

相关问答

Q1: python3字符串都是什么编码

编码

字符串是一种数据类型，但是，字符串比较特殊的是还有一个编码问题。

因为计算机只能处理数字，如果要处理文本，就必须先把文本转换为数字才能处理。最早的计算机在设计时采用8个比特（bit）作为一个字节（byte），所以，一个字节能表示的最大的整数就是255（二进制11111111=十进制255），如果要表示更大的整数，就必须用更多的字节。比如两个字节可以表示的最大整数是65535，4个字节可以表示的最大整数是4294967295。

由于计算机是美国人发明的，因此，最早只有127个字母被编码到计算机里，也就是大小写英文字母、数字和一些符号，这个编码表被称为ASCII编码，比如大写字母A的编码是65，小写字母z的编码是122。

Unicode

Unicode把所有语言都统一到一套编码里，这样就不会再有乱码问题了。

Unicode标准也在不断发展，但最常用的是用两个字节表示一个字符（如果要用到非常偏僻的字符，就需要4个字节）。现代操作系统和大多数编程语言都直接支持Unicode。

现在，捋一捋ASCII编码和Unicode编码的区别：ASCII编码是1个字节，而Unicode编码通常是2个字节。

字母A用ASCII编码是十进制的65，二进制的01000001；

字符0用ASCII编码是十进制的48，二进制的00110000，注意字符'0'和整数0是不同的；

汉字已经超出了ASCII编码的范围，用Unicode编码是十进制的20013，二进制的01001110 00101101。

如果把ASCII编码的A用Unicode编码，只需要在前面补0就可以，因此，A的Unicode编码是00000000 01000001。

新的问题又出现了：如果统一成Unicode编码，乱码问题从此消失了。但是，如果你写的文本基本上全部是英文的话，用Unicode编码比ASCII编码需要多一倍的存储空间，在存储和传输上就十分不划算。

所以，又出现了把Unicode编码转化为“可变长编码”的UTF-8编码。UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节，常用的英文字母被编码成1个字节，汉字通常是3个字节，只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符，用UTF-8编码就能节省空间：

字符

ASCII

Unicode

UTF-8

A    01000001    00000000 01000001    01000001  

中    x    01001110 00101101    11100100 10111000 10101101  

从上面的表格还可以发现，UTF-8编码有一个额外的好处，就是ASCII编码实际上可以被看成是UTF-8编码的一部分，所以，大量只支持ASCII编码的历史遗留软件可以在UTF-8编码下继续工作。

搞清楚了ASCII、Unicode和UTF-8的关系，我们就可以总结一下现在计算机系统通用的字符编码工作方式：

在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码。

用记事本编辑的时候，从文件读取的UTF-8字符被转换为Unicode字符到内存里，编辑完成后，保存的时候再把Unicode转换为UTF-8保存到文件：

浏览网页的时候，服务器会把动态生成的Unicode内容转换为UTF-8再传输到浏览器：

所以你看到很多网页的源码上会有类似meta charset="UTF-8" /的信息，表示该网页正是用的UTF-8编码。

Python的字符串

在最新的Python 3版本中，字符串是以Unicode编码的，也就是说，Python的字符串支持多语言，例如：

print('包含中文的str')

包含中文的str

对于单个字符的编码，Python提供了ord()函数获取字符的整数表示，chr()函数把编码转换为对应的字符：

ord('A')65

ord('中')20013

chr(66)'B' chr(25991)'文'

如果知道字符的整数编码，还可以用十六进制这么写str

'\u4e2d\u6587' // 中文

byte

由于Python的字符串类型是str，在内存中以Unicode表示，一个字符对应若干个字节。如果要在网络上传输，或者保存到磁盘上，就需要把str变为以字节为单位的bytes。

Python对bytes类型的数据用带b前缀的单引号或双引号表示：

x = b'ABC'

要注意区分'ABC'和b'ABC'，前者是str，后者虽然内容显示得和前者一样，但bytes的每个字符都只占用一个字节。

以Unicode表示的str通过encode()方法可以编码为指定的bytes，例如：

'ABC'.encode('ascii')

b'ABC' '中文'.encode('utf-8')

b'\xe4\xb8\xad\xe6\x96\x87' '中文'.encode('ascii')

Traceback (most recent call last):

File "stdin", line 1, in moduleUnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

纯英文的str可以用ASCII编码为bytes，内容是一样的，含有中文的str可以用UTF-8编码为bytes。含有中文的str无法用ASCII编码，因为中文编码的范围超过了ASCII编码的范围，Python会报错。

在bytes中，无法显示为ASCII字符的字节，用\x##显示。

反过来，如果我们从网络或磁盘上读取了字节流，那么读到的数据就是bytes。要把bytes变为str，就需要用decode()方法：

b'ABC'.decode('ascii')'ABC' b'\xe4\xb8\xad\xe6\x96\x87'.decode('utf-8')'中文'

要计算str包含多少个字符，可以用len()函数

len('ABC')3

len('中文')2

len()函数计算的是str的字符数，如果换成bytes，len()函数就计算字节数

len(b'ABC')3

len(b'\xe4\xb8\xad\xe6\x96\x87')6

len('中文'.encode('utf-8'))6

1个中文字符经过UTF-8编码后通常会占用3个字节，而1个英文字符只占用1个字节。

在操作字符串时，我们经常遇到str和bytes的互相转换。为了避免乱码问题，应当始终坚持使用UTF-8编码对str和bytes进行转换。

Python源代码也是一个文本文件，所以，当你的源代码中包含中文的时候，在保存源代码时，就需要务必指定保存为UTF-8编码。当Python解释器读取源代码时，为了让它按UTF-8编码读取，我们通常在文件开头写上这两行

#!/usr/bin/env python3# -*- coding: utf-8 -*-

第二行注释是为了告诉Python解释器，按照UTF-8编码读取源代码，否则，你在源代码中写的中文输出可能会有乱码。

格式化：

在Python中，采用的格式化方式和C语言是一致的，用%实现，举例如下：

format % (...params)

'Hello, %s' % 'world''Hello, world' 'Hi, %s, you have $%d.' % ('Michael', 1000000)'Hi, Michael, you have $1000000.'

%运算符就是用来格式化字符串的。在字符串内部，%s表示用字符串替换，%d表示用整数替换，%x表示16进制整数，有几个%?占位符，后面就跟几个变量或者值，顺序要对应好。如果只有一个%?，括号可以省略。

格式化整数和浮点数还可以指定是否补0和整数与小数的位数：

'%2d-%02d' % (3, 1)' 3-01' '%.2f' % 3.1415926'3.14'

有些时候，字符串里面的%是一个普通字符怎么办？这个时候就需要转义，用%%来表示一个%：

'growth rate: %d %%' % 7'growth rate: 7 %'

Q2: Python基本编码格式

1、一般来说，声明编码格式在脚本中是必需的。2、如果Python源码文件没有声明编码格式，Python解释器会默认使用ASCII编码。但出现非ASCII编码的字符，Python解释器就会报错。

1、Python 采用代码缩进和冒号（ : ）来区分代码块之间的层次。2、在 Python 中，对于类定义、函数定义、流程控制语句、异常处理语句等，行尾的冒号和下一行的缩进，表示下一个代码块的开始，而缩进的结束则表示此代码块的结束。3、Python 中实现对代码的缩进，可以使用空格或者 Tab 键实现。但无论是手动敲空格，还是使用 Tab 键，通常情况下都是采用 4 个空格长度作为一个缩进量（默认情况下，一个 Tab 键就表示 4 个空格）。4、对于 Python 缩进规则，初学者可以这样理解，Python 要求属于同一作用域中的各行代码，它们的缩进量必须一致，但具体缩进量为多少，并不做硬性规定。

正确示例代码:

错误示例代码:

Python中使用 # 进行注释，我们在使用# 的时候，# 号后面要空一格在行内注释的时候，中间应该至少加两个空格

print("你好，世界") # 注释

** 使用的一般性原则：**

1、在二元运算符两边各空一格，算术操作符两边的空格可灵活使用，但两侧务必要保持一致2、不要在逗号、分号、冒号前面加空格，但应该在它们后面加（除非在行尾）3、函数的参数列表中，逗号之后要有空格4、函数的参数列表中，默认值等号两边不要添加空格5、左括号之后，右括号之前不要加添加空格6、参数列表， 索引或切片的左括号前不应加空格

使用的一般性原则：

1、编码格式声明、模块导入、常量和全局变量声明、顶级定义和执行代码之间空两行2、顶级定义之间空两行，方法定义之间空一行3、在函数或方法内部，可以在必要的地方空一行以增强节奏感，但应避免连续空行

1、导入总应该放在文件顶部，位于模块注释和文档字符串之后，模块全局变量和常量之前。

2、导入应该按照从最通用到最不通用的顺序分组，分组之间空一行：

3、每个 import 语句只导入一个模块，尽量避免一次导入多个模块

命名规范这一块的大家应该都比较熟悉了，但是不同的编程语言之间的明明规范也是有所区别的~

Python命名建议遵循的一般性原则：

引号使用的一般性原则：

Python跟其他几个主流编程语言的分号使用区别很大Python的代码末尾不需要加分号，而Java和C#等都需要添加

不要在行尾添加分号，也不要用分号将两条命令放在同一行，例如：

Python学习日记

Q3: python2.0与python3.0的区别。

Python2.0与Python3.0主要区别在于以下几个方面：

1、输出

Python2.0使用print关键字进行输出，比如：print “Hello”;

Python3.0使用print()函数，比如print("Hello")。

2、输入方面

Python2.0使用raw_input()函数，比如：name=raw_input("请输入你的名字：");

Python3.0使用input()函数，比如：name=input("请输入你的名字：")。

3、字符串的编码格式

Python2.0默认采用ASCII编码对输入的字符串进行编码;

而Python3.0默认采用Unicode编码对字符串进行编码。

4、格式化字符串的方式

Python2.0用%占位符进行标准化格式输出字符串，比如：“Hello,%s" % ("World");

Python3.0用format()函数，比如：”Hello,{}“.format("World")。

5、源文件的编码格式

Python2.0默认采用ASCII，因此使用中文时要在源文件开头加上一行注释：# -- coding: utf-8 --;

Python3.0默认采用utf-8。

Q4: 新手，求教关于python3编码的问题

你需要明白两个概念：

什么叫字符串、字节串

在Python中字符串是指一串可以展示在终端里、供人阅读的字符，至于字符采用什么编码并不重要，同样的文字，可能是用Unicode、UTF-8或GBK编码，但打印在终端中的内容相同，那么就认为是同一串字符串。而字节串是指将字符串通过某种编码转换得到的一串字节，同样一个字符串，使用不同的编码转换后得到的字节串可能完全不同。

什么叫encode、decode

encode中文为编码，顾名思义，是将字符串以某种编码形式编码得到字节串的过程；相反，decode中文为解码，是将字节串以某种编码形式翻译得到字符串的过程。

a是一个字符串，它的内容是“周杰伦”这三个字，类型是str；b = a.encode('utf-8')是将a以utf-8形式编码得到的字节串，它的内容是“周杰伦”这三个字的utf-8编码，类型是bytes。

Q5: python中怎么求ascii码7、8、9的编码

度知道 提问

搜一搜

python中怎么求ascii码7、8、9的编码

社会我飞哥16888

今天 01:21 超过161用户采纳过TA的回答

关注

我们可以使用for循环和ord()函数来获取字符串的 ASCII 值。ord()函数返回传递字符串的 Unicode。它接受1作为字符串的长度。for循环用于迭代序列：列表、元组、字典、集合或字符串。因此，我们可以使用for循环来解析字符串的每个字符并将其转换为 ASCII 值。

在下面的代码中，text 是一个保存用户输入的变量。ascii_values 最初是一个空列表，稍后将保存字符串中每个字符的 ASCII 值。一旦循环完成其循环，我们将向用户显示 ascii_values 的内容作为输出。append() 函数在每次迭代后向列表 ascii_values 添加一个新项目。

当我们运行这个程序时，用户会收到一个字符串提示，一旦用户提供了一个字符串，它就会被存储在一个变量 text 中。在示例中，输入是字符串 hello。打印字符串中每个字符的 ASCII 值。

示例代码：

#python 3.x

text = input("enter a string to convert into ascii values:")

ascii_values = []

for character in text:

ascii_values.append(ord(character))

print(ascii_values)

输出：

enter a string to convert into ASCII values: hello

[104, 101, 108, 108, 111]

二、在 Python 中使用 List Comprehension 和 ord() 函数获取字符串的 ASCII

我们可以使用列表推导来实现相同的结果。Python 中的列表推导式是一种简单而紧凑的语法，用于从字符串或其他列表创建列表。这是一种通过对现有列表中的每个项目进行操作来创建新列表的简洁方法。列表推导比使用 for 循环处理列表快得多。

在下面的代码中，外部没有 for 或 while 循环。但是在列表推导中，我们使用 for 循环来获取 text 的每个 character。

示例代码：

#python 3.x

text = input("enter a string to convert into ascii values: ")

ascii_values = [ord(character) for character in text]

print(ascii_values)

输出：

enter a string to convert into ASCII values: hello

[104, 101, 108, 108, 111]

三、使用用户定义的函数 to_ascii() 在 Python 中获取字符串的 ASCII

另一种编写代码以实现相同目标的方法是使用用户定义的函数。用户定义函数是用于在策略正文中组织代码的函数。一旦你定义了一个函数，你就可以像内置的动作和解析器函数一样调用它。传递给函数的变量是通过引用而不是通过值传递的。

在下面的代码中，我们使用用户定义的函数 to_ascii 将 text 作为参数。在函数内部，定义了块操作，并通过关键字 return 传递结果。当从提供 text 的主模块调用函数 to_ascii 作为参数控制转移到 to_ascii 函数并执行代码块时，我们会在列表中获得给定字符串的 ASCII 值。

示例代码：

#python 3.x

def to_ascii(text):

ascii_values = [ord(character) for character in text]

return ascii_values

text = input("Enter a string: ")

print(to_ascii(text))

输出：

Enter a string:

hello

[104, 101, 108, 108, 111]