python 简单的实现文件内容去重

文件去重

这里主要用的是set()函数，特别地，set中的元素是无序的，并且重复元素在set中自动被过滤。

具体代码如下：


// 文件去重
#!/usr/bin/env python
# -*- coding:utf-8 -*-
#
# author g7y12
#file_list = [] #创建一个空列表
def out_file():
#file_2 = open_file()
file = "data.txt" #打开需要去重的文件
with open(file, "r", encoding="utf-8") as f:
file_2 = f.readlines()
for file in file_2:
file_list.append(file)
out_file1 = set(file_list) #set()函数可以自动过滤掉重复元素
last_out_file = list(out_file1)
for out in last_out_file:
with open("result.txt","a+",encoding="utf-8") as f: #去重后文件写入文件里
f.write(out+"\n")
print(out)if __name__ =="__main__":
out_file()

小结：set()去重后，元素顺序变了，如果文件不考虑去重后的顺序的话，可以用此种方法，简单快捷