python 之字符编码

所谓的字符编码就是让计算机读懂人类语言的字符

字符--------（翻译过程）------->数字  这个过程实际就是一个字符如何对应一个特定数字的标准，这个标准称之为字符编码

　. 一个python文件中的内容是由一堆字符组成的（python文件未执行时）

　. python中的数据类型字符串是由一串字符组成的（python文件执行时）

于是产生了unicode，　统一用2Bytes代表一个字符，　**-=，可代表6万多个字符，因而兼容万国语言

但对于通篇都是英文的文本来说，这种编码方式无疑是多了一倍的存储空间（二进制最终都是以电或者磁的方式存储到存储介质中的）

于是产生了UTF-，对英文字符只用1Bytes表示，对中文字符用3Bytes。unicode 和UTF-8各有优劣

unicode：简单粗暴，所有字符都是2Bytes，优点是字符->数字的转换速度快，缺点是占用空间大

utf-：精准，对不同的字符用不同的长度表示，优点是节省空间，缺点是：字符->数字的转换速度慢，因为每次都需要计算出字符需要多长的Bytes才能够准确表示

****    所有程序，最终都要加载到内存，程序保存到硬盘不同的国家用不同的编码格式，但是到内存中我们为了兼容万国（计算机可以运行任何国家的程序原因在于此），统一且固定使用unicode，这就是为何内存固定用unicode的原因，你可能会说兼容万国我可以用utf－8啊，可以，完全可以正常工作，之所以不用肯定是unicode比utf－8更高效啊（uicode固定用2个字节编码，utf－8则需要计算），但是unicode更浪费空间，没错，这就是用空间换时间的一种做法，而存放到硬盘，或者网络传输，都需要把unicode转成utf－，因为数据的传输，追求的是稳定，高效，数据量越小数据传输就越靠谱，于是都转成utf－8格式的，而不是unicode。

解决乱码的方法

ASCII码是字符编码的鼻祖最早诞生于西方世界，只限于西方世界使用

又称为万国编码，解决了ASCII码的缺陷，但是占用的内存相对较大

延续了万国编码的传统，但是解决了万国编码占用内存大的问题

只限于中国内部使用的字符编码

ASCII码是字符编码的鼻祖最早诞生与西方世界，因为只局限与西方世界使用所以诞生了unicode在世界范围内都可以使用但因为占用内存较大所以又诞生了utf-8解决了占用内存较大的问题

8Bit= Bytes

1024bytes=1Kb

1024Kb= mb

1024mb= GB

1024GB=1TB

位是最小的二进制内存单位   字节是最小的字符单位 一个字节bytes等于8个位bit

编码格式           英文            中文

Unicode                          4 

utf-                            

gbk                              

s = 'hello workd'

res = bytes(s,encoding='utf-8')

print(res)

s = bytes'hello workd'

res = str(s,encoding='utf-8')

print(res)

import sys

'''

*首先要搞清楚，字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，

即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。

decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode('gb2312')，表示将gb2312编码的字符串str1转换成unicode编码。

encode的作用是将unicode编码转换成其他编码的字符串，如str2.encode('gb2312')，表示将unicode编码的字符串str2转换成gb2312编码。

总得意思:想要将其他的编码转换成utf-8必须先将其解码成unicode然后重新编码成utf-,它是以unicode为转换媒介的

如：s='中文'

如果是在utf8的文件中，该字符串就是utf8编码，如果是在gb2312的文件中，则其编码为gb2312。这种情况下，要进行编码转换，都需要先用

decode方法将其转换成unicode编码，再使用encode方法将其转换成其他编码。通常，在没有指定特定的编码方式时，都是使用的系统默认编码创建的代码文件。

如下：

s.decode('utf-8').encode('utf-8')

decode():是解码

encode()是编码

isinstance(s,unicode):判断s是否是unicode编码，如果是就返回true,否则返回false*

'''

'''

s='中文'

s=s.decode('utf-8')   #将utf-8编码的解码成unicode

print isinstance(s,unicode)   #此时输出的就是True

s=s.encode('utf-8')           #又将unicode码编码成utf-

print isinstance(s,unicode)   #此时输出的就是False

'''

print sys.getdefaultencoding()

s='中文'

if isinstance(s,unicode):   #如果是unicode就直接编码不需要解码

    print s.encode('utf-8')

else:

    print s.decode('utf-8').encode('gb2312')

print sys.getdefaultencoding()    #获取系统默认的编码

reload(sys)

sys.setdefaultencoding('utf8')    #修改系统的默认编码

print sys.getdefaultencoding()

　　　　　　　　　　　　　str类型　----------->字节编码后的二进制数据　　　

　　　

    字符串类型

                      unicode类型-------->unicode编码后的二进制数据

s1='苑'

print type(s1) # <type 'str'>

print repr(s1) #'\xe8\x8b\x91

s2=u'苑'

print type(s2) # <type 'unicode'>

print repr(s2) # u'\u82d1'

s1=u'苑'

print repr(s1) #u'\u82d1'

b=s1.encode('utf8')

print b

print type(b)  #<type 'str'>

print repr(b)  #'\xe8\x8b\x91'

s2='苑昊'

u=s2.decode('utf8')

print u        # 苑昊

print type(u)  # <type 'unicode'>

print repr(u)  # u'\u82d1\u660a'

#注意

u2=s2.decode('gbk')

print u2  #鑻戞槉

print len('苑昊') #

  　　　　　　　　　　　　str类型　---------->unicode编码后的二进制数据　　　

　　　

    字符串类型

                      bytes类型-------->bytes编码后的二进制数据

import json

s='苑昊'

print(type(s))       #<class 'str'>

print(json.dumps(s)) #  "\u82d1\u660a"

b=s.encode('utf8')

print(type(b))      # <class 'bytes'>

print(b)            # b'\xe8\x8b\x91\xe6\x98\x8a'

u=b.decode('utf8')

print(type(u))       #<class 'str'>

print(u)             #苑昊

print(json.dumps(u)) #"\u82d1\u660a"

print(len('苑昊')) #