正文
pandas常用操作详解——pandas的去重操作df.duplicated()与df.drop_duplicates()
提示：扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
df.duplicated()
参数详解：
subset：检测重复的数据范围。默认为数据集的所有列，可指定特定数据列；
keep: 标记哪个重复数据，默认为‘first’。1.‘first’：标记重复数据第一次出现为True;‘last’：标记重复数据最后一次出现为True；False:标记所有重复数据为True。
import pandas as pd#构造数据(数据集来自pandas官网
df = pd.DataFrame({
'brand': ['Yum Yum', 'Yum Yum', 'Indomie', 'Indomie', 'Indomie'],
'style': ['cup', 'cup', 'cup', 'pack', 'pack'],
'rating': [4, 4, 3.5, 15, 5]
})
#1
df.duplicated(keep='first')
#2
df.duplicated(keep='last')
#3
df.duplicated(keep=False)
#检测brand列的重复情况
df.duplicated(subset=['brand'])
df.drop_duplicates()
参数详解：
subset:见上；
keep:见上；
inplace:默认为False,是否返回一个copy；
ignore_index:默认为False,是否重新构建索引。
df.drop_duplicates()
df.drop_duplicates(subset=['brand', 'style'], keep='last')
