使用Pandas筛选DataFrame中除首个实例外的所有重复行

本文详细介绍了如何使用Pandas库高效处理DataFrame中的重复数据。针对需要保留某一列中所有重复值，但排除其首次出现记录的特定场景，教程演示了如何利用DataFrame.duplicated()方法结合布尔索引来实现精确筛选。通过实例代码和清晰的解释，读者将掌握在数据清洗和分析中有效识别并提取后续重复数据的方法。

在数据处理和分析中，我们经常需要处理数据集中的重复项。有时，我们的目标是完全删除所有重复项，有时是保留唯一的记录，而另一些情况下，我们可能需要识别并隔离那些重复出现的记录，同时排除掉它们首次出现的实例。例如，在一个客户交易记录表中，我们可能只对客户的后续购买行为感兴趣，而不是他们的首次购买。pandas库提供了强大的工具来高效地完成这类任务。

理解问题：保留后续重复项

假设我们有一个包含客户ID、支付日期和支付金额的DataFrame。我们的目标是筛选出所有client_id列中重复出现的行，但要排除每个client_id首次出现的那一行。

考虑以下示例DataFrame：

我们期望得到的输出是：

解决方案：使用 DataFrame.duplicated() 方法

Pandas提供了一个非常便捷的方法duplicated()，它能够返回一个布尔型Series，指示DataFrame中的每一行是否为重复行。duplicated()方法有一个关键参数keep，它决定了如何处理重复项：

• keep=’first’ (默认值): 将所有重复项的第一个出现标记为False，其余标记为True。
• keep=’last’: 将所有重复项的最后一个出现标记为False，其余标记为True。
• keep=False: 将所有重复项（包括第一个和最后一个）都标记为True，只有唯一的行才标记为False。

对于我们当前的需求，即保留除第一个以外的所有重复项，keep=’first’（默认行为）正是我们所需要的。

示例代码与步骤

首先，我们创建上述示例DataFrame：

import pandas as pd  # 创建示例DataFrame data = {     'client_id': ['067858', '168226', '141424', '141424', '151525', '168226', '067858', '151525'],     'payment_date': ['2021-05-30', '2021-05-30', '2021-05-31', '2021-06-01', '2021-06-01', '2021-06-02', '2021-06-05', '2021-06-07'],     'value': [140.00, 150.00, 100.00, 150.00, 150.00, 115.00, 143.00, 82.00] } df = pd.DataFrame(data) df['payment_date'] = pd.to_datetime(df['payment_date']) # 将日期列转换为datetime类型 print("原始DataFrame:") print(df) print("-" * 30)

输出：

原始DataFrame:   client_id payment_date  value 0    067858   2021-05-30  140.0 1    168226   2021-05-30  150.0 2    141424   2021-05-31  100.0 3    141424   2021-06-01  150.0 4    151525   2021-06-01  150.0 5    168226   2021-06-02  115.0 6    067858   2021-06-05  143.0 7    151525   2021-06-07   82.0 ------------------------------

接下来，我们对client_id列应用duplicated()方法：

# 应用duplicated()方法，默认keep='first' # 它会为每个client_id的第一个出现标记为False，后续重复出现标记为True is_duplicated = df['client_id'].duplicated() print("duplicated()方法返回的布尔Series:") print(is_duplicated) print("-" * 30)

输出：

duplicated()方法返回的布尔Series: 0    False 1    False 2    False 3     True 4    False 5     True 6     True 7     True Name: client_id, dtype: bool ------------------------------

从上述输出可以看出：

• client_id为’067858’：第一次出现在索引0，标记为False；第二次出现在索引6，标记为True。
• client_id为’168226’：第一次出现在索引1，标记为False；第二次出现在索引5，标记为True。
• client_id为’141424’：第一次出现在索引2，标记为False；第二次出现在索引3，标记为True。
• client_id为’151525’：第一次出现在索引4，标记为False；第二次出现在索引7，标记为True。

最后，我们使用这个布尔Series进行布尔索引，从而筛选出我们需要的行：

# 使用布尔索引筛选DataFrame result_df = df[is_duplicated] print("筛选后的DataFrame (保留除首次出现外的所有重复项):") print(result_df)

输出：

筛选后的DataFrame (保留除首次出现外的所有重复项):   client_id payment_date  value 3    141424   2021-06-01  150.0 5    168226   2021-06-02  115.0 6    067858   2021-06-05  143.0 7    151525   2021-06-07   82.0

这正是我们期望的输出结果。

扩展应用与注意事项

1. 基于多列的重复判断： 如果需要基于多列的组合来判断重复，可以将一个列名列表传递给duplicated()方法的subset参数。例如，如果想找出client_id和payment_date都重复的行（排除首次出现）：

   df.duplicated(subset=['client_id', 'payment_date'])

2. 保留首次出现或唯一行：

   • 要保留所有不重复的行（即每个client_id的首次出现以及所有唯一的client_id），可以使用 df.drop_duplicates(subset=[‘client_id’], keep=’first’) 或 df[~df[‘client_id’].duplicated(keep=’first’)]。
   • 如果需要保留所有重复项的最后一个实例，则使用 df[df[‘client_id’].duplicated(keep=’last’)]。
   • 如果只希望保留那些在指定列中完全唯一的行（即不包含任何重复的行），可以使用 df[~df[‘client_id’].duplicated(keep=False)]。

3. 性能考虑： 对于大型数据集，Pandas的duplicated()方法通常非常高效，因为它在C语言级别实现。

总结

pandas.DataFrame.duplicated()方法是处理DataFrame中重复数据的一个强大且灵活的工具。通过巧妙地利用其默认行为（keep=’first’）并结合布尔索引，我们可以轻松地筛选出特定列中除首次出现之外的所有重复记录。理解并掌握keep参数的不同选项，将使您在数据清洗和预处理工作中更加得心应手，能够精确地提取或排除所需的数据子集。