正文

json,pickle,shelve模块,xml处理模块

IP云
IP云V管理员/5 阅读
08/20
提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

常用模块学习—序列化模块详解

  • 什么叫序列化？

    • 序列化是指把内存里的数据类型转变成字符串，以使其能存储到硬盘或通过网络传输到远程，因为硬盘或网络传输时只能接受bytes。

  • 为什么要序列化？

    • 你打游戏过程中，打累了，停下来，关掉游戏、想过2天再玩，2天之后，游戏又从你上次停止的地方继续运行，你上次游戏的进度肯定保存在硬盘上了，是以何种形式呢？游戏过程中产生的很多临时数据是不规律的，可能在你关掉游戏时正好有10个列表，3个嵌套字典的数据集合在内存里，需要存下来？你如何存？把列表变成文件里的多行多列形式？那嵌套字典呢？根本没法存。所以，若是有种办法可以直接把内存数据存到硬盘上，下次程序再启动，再从硬盘上读回来，还是原来的格式的话，那是极好的。

data = {
'roles':[
{'role':'monster','type':'pig','life':50},
{'role':'hero','type':'关羽','life':80},
]
}#将数据写入game_status文件
#f = open("game_status","w")
#f.write(str(data))#将数据从game_status文件读出来
f = open("game_status","r")
d = f.read()
d = eval(d)
print(d['roles'])#把内存数据转成字符，叫序列化
#把字符转成内存数据，叫反序列化

  • 用于序列化的两个模块：

    • json，用于字符串 和 python数据类型间进行转换

    • pickle，用于python特有的类型 和 python的数据类型间进行转换

常用模块学习—序列化json模块详解

Json模块提供了四个功能：

  • dumps（将数据通过特殊的形式转换为只有python语言认识的字符串）（用于将dict类型的数据转成str）

  • dump（将数据通过特殊的形式转换为只有python语言认识的字符串，并写入文件）（用于将dict类型的数据转成str，并写入到json文件中）

  • loads（将str类型的数据转换成dict）

  • load（用于从json文件中读取数据）

import json#1、
data = {
'roles':[
{'role':'monster','type':'pig','life':50},
{'role':'hero','type':'关羽','life':80},
]
}#d = json.dumps(data) #dumps里存一个值
#print(d,type(d))f = open("test.json","w") #json格式的文件，以json为拓展名
json.dump(data,f) #转入字符并写入文件。 #dump里存两个值#2、
data = {
'roles':[
{'role':'monster','type':'pig','life':50},
{'role':'hero','type':'关羽','life':80},
]
}d = json.dumps(data) #仅转成字符串
d2 = json.loads(d)
print(d2['roles']) #结果为：[{'role': 'monster', 'type': 'pig', 'life': 50}, {'role': 'hero', 'type': '关羽', 'life': 80}]#3、从文件中加载回来
# data = {
# 'roles':[
# {'role':'monster','type':'pig','life':50},
# {'role':'hero','type':'关羽','life':80},
# ]
# }f = open("test.json","r")
data = json.load(f)
print(data['roles']) #结果为：[{'role': 'monster', 'type': 'pig', 'life': 50}, {'role': 'hero', 'type': '关羽', 'life': 80}]
f.close()#只是把数据类型转成字符串存到内存里的意义？
#json.dumps json.loads
#1、把你的内存数据 通过网络 共享给远程其他人（硬盘或网络传输时只能接受bytes ）
#2、定义了不同编程语言之间的交互规则
#纯文本 缺点：不能共享复杂的数据类型
#xml 缺点：占的空间大,效率低
#json 优点：简单，占的空间小，可读性好

import json#dump 多次
f = open("json_file","w",encoding="utf-8")d = {'name':'alex','age':22}
l = [1,2,3,4,'rain']json.dump(d,f)
json.dump(l,f)# load 多次
f = open("json_file", "r", encoding="utf-8")
json.load(f)
'''
raise JSONDecodeError("Extra data", s, end)
json.decoder.JSONDecodeError: Extra data: line 1 column 28 (char 27)
'''
#JSONDecodeError,json反序列化错误
#为了避免各种不必要的问题，建议不要使用多次dump

常用模块学习—序列化pickle模块详解

  • Pickle模块提供了四个功能：

    • dumps（将数据通过特殊的形式转换为只有python语言认识的字符串）

    • dump（将数据通过特殊的形式转换为只有python语言认识的字符串，并写入文件）

    • loads（将数据通过特殊的形式转换为所有程序语言都认识的字符串）

    • load（将数据通过特殊的形式转换为只有python语言认识的字符串，并写入文件）

import pickle
'''
d = {'name':'alex','age':22}
l = [1,2,3,4,'rain']
#pk = open("data.pkl","w")
pk = open("data.pkl","wb") #二进制格式写#print(pickle.dumps(d))
#结果为：b'\x80\x03}q\x00(X\x04\x00\x00\x00nameq\x01X\x04\x00\x00\x00alexq\x02X\x03\x00\x00\x00ageq\x03K\x16u.'#pickle.dump(d,pk)
#结果为：#TypeError: write() argument must be str, not bytespickle.dump(d,pk)
'''#取出来
f = open("data.pkl","rb") #二进制格式读
d = pickle.load(f)
print(d) #结果为：{'name': 'alex', 'age': 22}
#与json一样，不能多次dump和load多次；

import pickle,json#函数
def sayhi():
print('dddd')

pickle.dumps(sayhi)json.dumps(sayhi) #结果为：raise TypeError(f'Object of type {o.__class__.__name__} ' TypeError: Object of type function is not JSON serializable'''
小结：
json 能序列化的数据类型只支持 str, int, tuple, list, dict
支持跨平台使用
pick 能序列化的数据类型支持python里的所有的数据类型
只能在Python里使用
'''

常用模块学习—序列化shelve模块详解

  • shelve模块是一个简单的k,v将内存数据通过文件持久化的模块，可以持久化任何pickle可支持的python数据格式。

import shelve#序列化
f = shelve.open('shelve_test')names = ["alex","rain","test"]
info = {'name':'alex','age':22}f["name"] = names #持久化列表
f['info_dic'] = infof.close()#反序列化
d = shelve.open('shelve_test')
print(d) #结果为：<shelve.DbfilenameShelf object at 0x00000275FCCC3160>
print(d['name']) #结果为：['alex', 'rain', 'test']
print(d['info_dic']) #结果为：{'name': 'alex', 'age': 22}
print(d.keys()) #结果为：KeysView(<shelve.DbfilenameShelf object at 0x0000029DA6D03390>)
print(list(d.keys())) #结果为：['name', 'info_dic']
print(list(d.items())) #结果为：[('name', ['alex', 'rain', 'test']), ('info_dic', {'name': 'alex', 'age': 22})]
print(d.get('name')) #结果为：['alex', 'rain', 'test']
print(d.get('info_dic')) #结果为：{'name': 'alex', 'age': 22}#修改
print(d['name']) #结果为：['alex', 'rain', 'test']
d['name'] = ['alex', 'Rain Wang', 'test']
print(d['name']) #结果为：['alex', 'rain', 'test']
d.close()#del d['test'] #还可以删除

常用模块学习—xml处理模块详解

  • xml是实现不同语言或程序之间进行数据交换的协议，跟json差不多，但json使用起来更简单，不过，古时候，在json还没诞生的黑暗年代，大家只能选择用xml呀，至今很多传统公司如金融行业的很多系统的接口还主要是xml。

import xml.etree.ElementTree as ET #as 起别名tree = ET.parse('xml test') #open
root = tree.getroot() #相当于f.seek(0)
#print(dir(root)) #结果为：['__class__', '__copy__', '__deepcopy__', '__delattr__', '__delitem__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__getstate__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__le__', '__len__', '__lt__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__setitem__', '__setstate__', '__sizeof__', '__str__', '__subclasshook__', 'append', 'attrib', 'clear', 'extend', 'find', 'findall', 'findtext', 'get', 'getchildren', 'getiterator', 'insert', 'items', 'iter', 'iterfind', 'itertext', 'keys', 'makeelement', 'remove', 'set', 'tag', 'tail', 'text']
#print(root.tag) #结果为：data#遍历xml文档
for child in root:
print('---------',child.tag, child.attrib)
for i in child:
print(i.tag,i.text)
'''
结果为：
--------- country {'name': 'Liechtenstein'}
rank 2
year 2008
gdppc 141100
neighbor None
neighbor None
--------- country {'name': 'Singapore'}
rank 5
year 2011
gdppc 59900
neighbor None
--------- country {'name': 'Panama'}
rank 69
year 2011
gdppc 13600
neighbor None
neighbor None
'''#只遍历year 节点
for node in root.iter('year'):
print(node.tag,node.text)
#结果为：
# year 2008
# year 2011
# year 2011

import xml.etree.ElementTree as ET #as 起别名tree = ET.parse('xml test') #open
root = tree.getroot() #相当于f.seek(0)#修改
# for node in root.iter('year'):
# new_year = int(node.text) + 1
# node.text = str(new_year)
# node.set("attr_test","yes")
#
# tree.write("xml test") #向文件中循环写入数据#删除node
for country in root.findall('country'):
rank = int(country.find('rank').text)
if rank > 50:
root.remove(country)tree.write('output.xml')

#xml test<data>
<country name="Liechtenstein">
<rank updated="yes">2</rank>
<year attr_test="yes">2009</year>
<gdppc>141100</gdppc>
<neighbor direction="E" name="Austria" />
<neighbor direction="W" name="Switzerland" />
</country>
<country name="Singapore">
<rank updated="yes">5</rank>
<year attr_test="yes">2012</year>
<gdppc>59900</gdppc>
<neighbor direction="N" name="Malaysia" />
</country>
<country name="Panama">
<rank updated="yes">69</rank>
<year attr_test="yes">2012</year>
<gdppc>13600</gdppc>
<neighbor direction="W" name="Costa Rica" />
<neighbor direction="E" name="Colombia" />
</country>
<state>
<name>德州</name>
<population>德州</population>
</state>
</data>

#output.xml<data>
<country name="Liechtenstein">
<rank updated="yes">2</rank>
<year attr_test="yes">2009</year>
<gdppc>141100</gdppc>
<neighbor direction="E" name="Austria" />
<neighbor direction="W" name="Switzerland" />
</country>
<country name="Singapore">
<rank updated="yes">5</rank>
<year attr_test="yes">2012</year>
<gdppc>59900</gdppc>
<neighbor direction="N" name="Malaysia" />
</country>
<state>
<name>&#24503;州</name>
<population>&#24503;州</population>
</state>
</data>

常用模块学习—自动创建 xml 文档

import xml.etree.ElementTree as ETnew_xml = ET.Element("namelist") #创建namelist节点name = ET.SubElement(new_xml,"name",attrib={"enrolled":"yes"})
age = ET.SubElement(name,"age",attrib={"checked":"no"})
sex = ET.SubElement(name,"sex")
sex.text = ''name2 = ET.SubElement(new_xml,"name",attrib={"enrolled":"no"})
age = ET.SubElement(name2,"age")
age.text = ''et = ET.ElementTree(new_xml) #生成文档对象
et.write("test.xml", encoding="utf-8",xml_declaration=True)ET.dump(new_xml) #打印生成的格式

<?xml version='1.0' encoding='utf-8'?>
<namelist>
<name enrolled="yes">
<age checked="no" />
<sex>33</sex></name>
<name enrolled="no">
<age>19</age></name>
</namelist>