本文详细介绍了如何在Pandas DataFrame中创建一列，其单元格值不仅取决于自身行的条件，还可能依赖于后续或之前的特定标记行。我们将利用Series.where进行条件性赋值，并结合Series.bfill或Series.ffill来高效地填充缺失值，从而解决复杂的数据依赖问题。
1. 问题背景与挑战
在数据处理中，我们经常需要根据特定条件创建新的数据列。一个常见的场景是，如果某一列的值满足某个条件，新列就取自当前行的另一列值；否则，新列的值需要从其上方（或下方）最近的满足条件的行中获取。这种“依赖于相邻行”的逻辑，尤其是在存在连续多行不满足条件时，如果采用传统的循环或简单的移位操作，往往效率低下且难以正确处理。
例如，考虑以下DataFrame：
import pandas as pd data = { 'Colonne 1': ['MTN_LI2', 'MTN_IRU', 'MTN_ACE', 'MTN_IME', 'RIPP7', 'CA_SOT', 'CA_OTI', 'CNW00', 'BSNTF', 'RIPNJ'], 'Dimension 1': ['Indicator', 'Indicator', 'Indicator', 'Indicator', 'Organisation', 'Indicator', 'Indicator', 'Organisation', 'Organisation', 'Organisation'] } df = pd.DataFrame(data) print(df)
原始DataFrame df 如下所示：
Colonne 1 Dimension 1 0 MTN_LI2 Indicator 1 MTN_IRU Indicator 2 MTN_ACE Indicator 3 MTN_IME Indicator 4 RIPP7 Organisation 5 CA_SOT Indicator 6 CA_OTI Indicator 7 CNW00 Organisation 8 BSNTF Organisation 9 RIPNJ Organisation
我们的目标是创建一列 new，其逻辑如下：
- 如果 Dimension 1 的值为 ‘Organisation’，则 new 列取当前行 Colonne 1 的值。
- 如果 Dimension 1 的值不是 ‘Organisation’，则 new 列取其下方最近的、Dimension 1 为 ‘Organisation’ 的行的 Colonne 1 值。如果下方没有，则保持为空。
2. 核心解决方案：Series.where 与 Series.bfill/ffill
Pandas提供了Series.where()方法，它允许我们根据布尔条件选择性地保留或替换Series中的值。结合bfill()（backward fill，向后填充）或ffill()（forward fill，向前填充）方法，可以优雅地解决上述问题。
2.1 Series.where() 的应用
首先，我们使用 Series.where() 来实现条件赋值。where(cond, other=NaN) 的作用是：当 cond 为 True 时，保留原Series的值；当 cond 为 False 时，替换为 other（默认为 NaN）。
对于我们的问题，条件是 df[‘Dimension 1’].eq(‘Organisation’)。我们希望当条件为真时，取 df[‘Colonne 1’] 的值。
# 步骤1: 应用 Series.where() temp_series = df['Colonne 1'].where(df['Dimension 1'].eq('Organisation')) print(temp_series)
执行上述代码后，temp_series 将会是：
0 NaN 1 NaN 2 NaN 3 NaN 4 RIPP7 5 NaN 6 NaN 7 CNW00 8 BSNTF 9 RIPNJ Name: Colonne 1, dtype: object
可以看到，所有 Dimension 1 不是 ‘Organisation’ 的行都被替换成了 NaN。
2.2 Series.bfill() 或 Series.ffill() 填充 NaN
现在，temp_series 中包含了我们需要的“标记”值（即’Organisation’对应的Colonne 1值）以及大量的 NaN。我们需要根据这些标记值来填充 NaN。
- Series.bfill() (Backward Fill): 向后填充，使用下一个有效观测值填充 NaN。这正好符合我们的需求：“取其下方最近的、Dimension 1 为 ‘Organisation’ 的行的 Colonne 1 值”。
- Series.ffill() (Forward Fill): 向前填充，使用上一个有效观测值填充 NaN。这适用于“取其上方最近的”场景。
使用 bfill() 实现需求：
df['new'] = df['Colonne 1'].where(df['Dimension 1'].eq('Organisation')).bfill() print(df)
输出结果：
Colonne 1 Dimension 1 new 0 MTN_LI2 Indicator RIPP7 1 MTN_IRU Indicator RIPP7 2 MTN_ACE Indicator RIPP7 3 MTN_IME Indicator RIPP7 4 RIPP7 Organisation RIPP7 5 CA_SOT Indicator CNW00 6 CA_OTI Indicator CNW00 7 CNW00 Organisation CNW00 8 BSNTF Organisation BSNTF 9 RIPNJ Organisation RIPNJ
可以看到，RIPP7 成功地填充了其上方的 NaN，CNW00 填充了其上方的 NaN。这完美地解决了问题。
使用 ffill() 的替代方案（了解其不同行为）：
如果你的需求是“如果 Dimension 1 的值不是 ‘Organisation’，则 new 列取其上方最近的、Dimension 1 为 ‘Organisation’ 的行的 Colonne 1 值”，那么应该使用 ffill()：
df_ffill = df.copy() # 创建副本以展示不同结果 df_ffill['new_ffill'] = df_ffill['Colonne 1'].where(df_ffill['Dimension 1'].eq('Organisation')).ffill() print(df_ffill)
输出结果：
Colonne 1 Dimension 1 new_ffill 0 MTN_LI2 Indicator NaN 1 MTN_IRU Indicator NaN 2 MTN_ACE Indicator NaN 3 MTN_IME Indicator NaN 4 RIPP7 Organisation RIPP7 5 CA_SOT Indicator RIPP7 6 CA_OTI Indicator RIPP7 7 CNW00 Organisation CNW00 8 BSNTF Organisation BSNTF 9 RIPNJ Organisation RIPNJ
注意，使用 ffill() 时，前四行（索引0-3）因为在它们上方没有 ‘Organisation’ 值，所以仍然是 NaN。这突出了 bfill() 和 ffill() 在填充方向上的根本区别。
3. 注意事项与总结
- 性能优势： Series.where() 和 Series.bfill() / Series.ffill() 都是高度优化的Pandas操作，它们在C语言层面实现，因此对于大型DataFrame而言，比Python循环或自定义函数要快得多。
- 初始 NaN 处理：
- 当使用 bfill() 时，如果DataFrame的起始部分（或任何连续的 NaN 块）在它们下方找不到任何非 NaN 值来填充，这些 NaN 将会保留。
- 当使用 ffill() 时，如果DataFrame的起始部分在它们上方找不到任何非 NaN 值来填充，这些 NaN 将会保留。在我们的 ffill() 示例中，前四行就是这种情况。
- 灵活性： 这种 where().fill_method() 的模式非常灵活，可以应用于各种复杂的条件填充场景。你可以根据实际需求调整 where() 的条件以及选择 bfill() 或 ffill()。
- 链式操作： Pandas的许多方法都支持链式操作，使得代码简洁易读。
通过结合 Series.where() 和 Series.bfill() 或 Series.ffill()，我们能够高效且优雅地解决Pandas中涉及条件性赋值和跨行依赖的复杂数据转换问题。这种方法是处理此类场景的推荐实践。
评论（已关闭）
评论已关闭