本教程详细讲解如何利用pandas和numpy在数据集中创建一个新的“累计销售额”列。该列仅在每个唯一客户ID的首次出现时显示其总销售额，而在该客户ID的后续出现时则显示为零。文章将通过实际代码示例，深入解析`numpy.where`、`Series.duplicated`和`GroupBy.transform`的组合应用，提供一种高效且地道的解决方案。
在数据分析中，我们经常需要根据特定条件对数据进行汇总或标记。一个常见的场景是，我们希望在一个分组数据集中，仅在每个分组的第一个实例处显示该分组的总计值，而其余实例则显示为零。例如，在一个客户销售记录中，我们可能需要一个“累计销售额”列，它只在客户首次出现时显示该客户的总销售额，而在该客户的后续交易记录中则显示为零。
场景描述与数据示例
假设我们有一个包含客户ID、日期和单次销售额的数据集，我们希望创建一个名为Cumulative Sales的新列，其逻辑如下：
- 对于每个唯一的ClientID，仅在其首次出现的那一行计算并显示该客户所有Total sales的总和。
- 对于同一个ClientID的后续出现，Cumulative Sales列的值应为0。
以下是我们的初始数据集示例：
import pandas as pd import numpy as np data = { 'ClientID': ['A', 'A', 'A', 'B', 'B', 'C', 'C', 'C', 'D', 'D'], 'Date': ['01-01-2000', '01-02-2000', '01-03-2000', '01-01-2000', '01-02-2000', '01-01-2000', '01-02-2000', '01-03-2000', '01-01-2000', '01-02-2000'], 'Total sales': [100, 100, 100, 50, 50, 70, 70, 70, 20, 20] } df = pd.DataFrame(data) print("原始数据框:") print(df)
原始数据框输出如下：
原始数据框: ClientID Date Total sales 0 A 01-01-2000 100 1 A 01-02-2000 100 2 A 01-03-2000 100 3 B 01-01-2000 50 4 B 01-02-2000 50 5 C 01-01-2000 70 6 C 01-02-2000 70 7 C 01-03-2000 70 8 D 01-01-2000 20 9 D 01-02-2000 20
我们的目标是生成一个Cumulative Sales列，使其看起来像这样：
ClientID Date Total sales Cumulative Sales 0 A 01-01-2000 100 300 1 A 01-02-2000 100 0 2 A 01-03-2000 100 0 3 B 01-01-2000 50 100 4 B 01-02-2000 50 0 5 C 01-01-2000 70 210 6 C 01-02-2000 70 0 7 C 01-03-2000 70 0 8 D 01-01-2000 20 40 9 D 01-02-2000 20 0
解决方案：结合Pandas duplicated 和 groupby().transform 与 NumPy where
为了实现上述逻辑，我们可以利用Pandas的Series.duplicated()方法来识别重复值，结合DataFrameGroupBy.transform()来计算分组总和，并最终使用NumPy的numpy.where()函数进行条件赋值。
1. 识别重复的客户ID
df[‘ClientID’].duplicated()方法会返回一个布尔型Series，其中True表示该元素是其在Series中首次出现后的重复项，False则表示该元素是首次出现。
print(df['ClientID'].duplicated()) # 输出: # 0 False # 1 True # 2 True # 3 False # 4 True # 5 False # 6 True # 7 True # 8 False # 9 True # Name: ClientID, dtype: bool
这个布尔Series正是我们需要的掩码：False对应的是每个ClientID的首次出现，True对应的是后续出现。
2. 计算每个客户的总销售额并广播
df.groupby(‘ClientID’)[‘Total sales’].transform(‘sum’)会执行以下操作：
- df.groupby(‘ClientID’): 按ClientID列进行分组。
- [‘Total sales’]: 选取Total sales列进行操作。
- .transform(‘sum’): 对每个分组内的Total sales求和，并将结果“广播”回原始DataFrame的形状。这意味着，对于属于同一个ClientID的所有行，它们在transform操作后的结果列中将拥有相同的总和值。
print(df.groupby('ClientID')['Total sales'].transform('sum')) # 输出: # 0 300 # 1 300 # 2 300 # 3 100 # 4 100 # 5 210 # 6 210 # 7 210 # 8 40 # 9 40 # Name: Total sales, dtype: int64
这个Series包含了每个客户的总销售额，并将其正确地对齐到原始DataFrame的索引。
3. 条件赋值：使用 numpy.where
numpy.where(condition, x, y)函数根据条件选择值：
- 如果condition为True，则选择x。
- 如果condition为False，则选择y。
结合我们之前得到的两个结果：
- condition: df[‘ClientID’].duplicated() (当客户ID是重复时为True，首次出现时为False)
- x (当条件为True时选择的值): 0 (因为我们希望重复的客户ID显示0)
- y (当条件为False时选择的值): df.groupby(‘ClientID’)[‘Total sales’].transform(‘sum’) (因为我们希望首次出现的客户ID显示其总销售额)
因此，完整的解决方案代码如下：
df['Cumulative Sales'] = np.where(df['ClientID'].duplicated(), 0, df.groupby('ClientID')['Total sales'].transform('sum')) print("n处理后的数据框:") print(df)
输出结果：
处理后的数据框: ClientID Date Total sales Cumulative Sales 0 A 01-01-2000 100 300 1 A 01-02-2000 100 0 2 A 01-03-2000 100 0 3 B 01-01-2000 50 100 4 B 01-02-2000 50 0 5 C 01-01-2000 70 210 6 C 01-02-2000 70 0 7 C 01-03-2000 70 0 8 D 01-01-2000 20 40 9 D 01-02-2000 20 0
这完美地实现了我们的目标。
总结与注意事项
这种方法利用了Pandas和NumPy的矢量化操作，效率非常高，尤其适用于大型数据集。
- Series.duplicated(): 默认情况下，它会将第一次出现的值标记为False，其余重复值标记为True。如果需要将最后一次出现的值标记为False，可以使用keep=’last’参数。
- GroupBy.transform(): 这是一个非常强大的方法，它允许你在分组后执行聚合操作，并将结果返回到与原始DataFrame相同索引和形状的Series或DataFrame中，这使得它非常适合与assign或直接赋值结合使用。
- numpy.where(): 提供了一种简洁高效的条件赋值方式，避免了使用循环，显著提升了性能。
通过掌握这种组合技巧，你可以在处理复杂的数据转换任务时，以更简洁、更高效的方式实现目标。