python日期去重函数,python字符串去重函数

python去重（汉字一样，里面的编码不一样）？

这是一个字符串的全角和半角的问题，可以导入 unicodedata 中的 normalize 函数先把全角转换为半角，然后再用 set 对列表去重，参考代码如下：

from unicodedata import normalize

list3=['热菜','凉菜','凉菜','硬菜']

set(map(lambda s: normalize('NFKC', s), list3))

输出：

{'硬菜', '热菜', '凉菜'}

扩展：

“ NFKC”代表“Normalization Form KC [Compatibility Decomposition, followed by Canonical Composition]”，并将全角字符替换为半角字符，这些半角字符与Unicode等价。

相关问答

Q1: python，格式化时间实例，求

对于像'Wed, 11 Apr 2012 09:37:05 +0800'的时间格式化可如下解：

 date='Wed, 11 Apr 2012 09:37:05 +0800'

 dd=datetime.datetime.strptime(date,'%a, %d %b %Y %H:%M:%S %z')

 dd.strftime('%Y-%m-%d %H:%M:%S')

Python格式化日期时间的函数为datetime.datetime.strftime()；由字符串转为日期型的函数为：datetime.datetime.strptime()，两个函数都涉及日期时间的格式化字符串，列举如下：

%a Abbreviated weekday name   

%A Full weekday name   

%b Abbreviated month name   

%B Full month name   

%c Date and time representation appropriate for locale   

%d Day of month as decimal number (01 - 31)   

%H Hour in 24-hour format (00 - 23)   

%I Hour in 12-hour format (01 - 12)   

%j Day of year as decimal number (001 - 366)   

%m Month as decimal number (01 - 12)   

%M Minute as decimal number (00 - 59)   

%p Current locale's A.M./P.M. indicator for 12-hour clock   

%S Second as decimal number (00 - 59)   

%U Week of year as decimal number, with Sunday as first day of week (00 - 51)   

%w Weekday as decimal number (0 - 6; Sunday is 0)   

%W Week of year as decimal number, with Monday as first day of week (00 - 51)   

%x Date representation for current locale   

%X Time representation for current locale   

%y Year without century, as decimal number (00 - 99)   

%Y Year with century, as decimal number   

%z, %Z Time-zone name or abbreviation; no characters if time zone is unknown   

%% Percent sign

Q2: Python实现对列表中重复元素进行去重的方法小结

1、运用新建字典的方式，去除重复的键

2、利用集合，直接将列表转化为集合，自动去重后转回列表。有一个问题，转换为集合的同时，数据无序了。

3、用列表的推导式

Q3: Python第19课：数据清洗之去错、去空、去重

Python 第19课：数据清洗之去错、去空、去重

时间 2019-02-01 下午3：30

主讲 刘培富

地点 四楼电教室

数据清洗是数据治理的关键环节，是指对获取的原始数据（也称“脏数据”）进行审查、校验、加工的过程，目的在于删除重复信息、纠正错误信息，保持数据一致性。

一般来说，数据清洗，主要是对数据进行去错、去空、去重处理。

针对一张包含姓名、身份证号码、车牌号码的数据表，建立纠错规则如下：

1.车牌号既不包含汉字赣，且不包含汉字饶。

2.身份证号码的年份既不等于19也不等于20，身份证号码的月份大于12，身份证号码的日期大于31。

3.身份证号码位数不等于18。

4.姓名的长度小于等于1。

二、去空

对于关键性数据，不允许为空，对于这类数据，要查询是否存在空值。

三、去重

在一张表中，有的数据列允许重复，有的数据列则不允许重复。例如，对于一张车主信息表来说，姓名、身份证号可以重复，因为存在一人登记多辆车的情形，这种重复，不能认为是错误。但是，车牌号则不允许重复，否则就存在业务逻辑的错误。所以，针对车牌号数据列，要进行去重。

通过以下SQL语句，可以列出重复的数据：

综上，数据清洗，既要懂技术，更要懂业务，否则无法正确制定清洗规则，导致数据清洗流于形式，达不到清洗的效果。