Pandas中基于条件和行间依赖创建新列

本文详细介绍了如何在Pandas DataFrame中高效创建依赖于其他行值的条件列。通过结合使用Series.where()进行条件赋值和Series.bfill()或Series.ffill()进行缺失值填充，可以灵活地根据当前行或相邻行的特定条件来确定新列的值，从而避免低效的循环操作，提升数据处理效率。

引言

在数据处理过程中，我们经常需要根据dataframe中某一列或多列的条件来生成新的列。更复杂的情况是，新列的值不仅取决于当前行的条件，还可能依赖于其上方或下方的行的值。例如，当某一行的特定条件不满足时，我们可能希望新列继承其上方或下方最近一个满足条件的行的值。传统的循环方法在处理大型数据集时效率低下，而pandas提供了更高效的向量化操作来实现这一目标。

核心方法：Series.where()结合Series.bfill()或Series.ffill()

Pandas中的Series.where()方法允许我们根据布尔条件选择性地替换Series中的值。当条件为False时，对应位置的值将被替换为NaN（默认行为），而当条件为True时，原值保持不变。结合使用Series.bfill()（backward fill，向后填充）或Series.ffill()（forward fill，向前填充）可以巧妙地处理行间依赖关系。

假设我们有一个DataFrame df，包含 Colonne 1 和 Dimension 1 两列。我们的目标是创建一个新列 new，其规则如下：

• 如果 Dimension 1 的值为 ‘Organisation’，则 new 列取 Colonne 1 列的当前行的值。
• 如果 Dimension 1 的值不是 ‘Organisation’，则 new 列取其下方（或上方，取决于需求）最近一个 Dimension 1 为 ‘Organisation’ 的行的 Colonne 1 值。

以下是示例DataFrame：

import pandas as pd import numpy as np  data = {     'Colonne 1': ['MTN_LI2', 'MTN_IRU', 'MTN_ACE', 'MTN_IME', 'RIPP7', 'CA_SOT', 'CA_OTI', 'CNW00', 'BSNTF', 'RIPNJ'],     'Dimension 1': ['Indicator', 'Indicator', 'Indicator', 'Indicator', 'Organisation', 'Indicator', 'Indicator', 'Organisation', 'Organisation', 'Organisation'] } df = pd.DataFrame(data) print("原始DataFrame:") print(df)

原始DataFrame:

  Colonne 1   Dimension 1 0  MTN_LI2      Indicator 1  MTN_IRU      Indicator 2  MTN_ACE      Indicator 3  MTN_IME      Indicator 4     RIPP7  Organisation 5    CA_SOT     Indicator 6    CA_OTI     Indicator 7     CNW00  Organisation 8     BSNTF  Organisation 9     RIPNJ  Organisation

场景一：向后填充（bfill）——取下方最近的有效值

如果需求是当 Dimension 1 不是 ‘Organisation’ 时，新列的值应取其下方最近一个 Dimension 1 为 ‘Organisation’ 的行的 Colonne 1 值，我们可以使用 Series.bfill()。

df['new_bfill'] = df['Colonne 1'].where(df['Dimension 1'].eq('Organisation')).bfill() print("n使用 bfill() 的结果:") print(df)

解释：

1. df[‘Dimension 1’].eq(‘Organisation’) 生成一个布尔Series，指示哪些行 Dimension 1 等于 ‘Organisation’。
2. df[‘Colonne 1’].where(…)：当布尔条件为True时（即 Dimension 1 为 ‘Organisation’），保留 Colonne 1 的原始值；当条件为False时，将 Colonne 1 的值替换为 NaN。 此时，new_bfill 列将变为：[NaN, NaN, NaN, NaN, ‘RIPP7’, NaN, NaN, ‘CNW00’, ‘BSNTF’, ‘RIPNJ’]。
3. .bfill()：对这个包含 NaN 的Series进行向后填充。这意味着每个 NaN 值都会被其下方的第一个非 NaN 值填充。
   • 索引0-3的NaN会被索引4的’RIPP7’填充。
   • 索引5-6的NaN会被索引7的’CNW00’填充。
   • 索引7-9的’CNW00′, ‘BSNTF’, ‘RIPNJ’保持不变，因为它们不是NaN。

输出结果:

  Colonne 1   Dimension 1 new_bfill 0  MTN_LI2      Indicator     RIPP7 1  MTN_IRU      Indicator     RIPP7 2  MTN_ACE      Indicator     RIPP7 3  MTN_IME      Indicator     RIPP7 4     RIPP7  Organisation     RIPP7 5    CA_SOT     Indicator     CNW00 6    CA_OTI     Indicator     CNW00 7     CNW00  Organisation     CNW00 8     BSNTF  Organisation     BSNTF 9     RIPNJ  Organisation     RIPNJ

场景二：向前填充（ffill）——取上方最近的有效值

如果需求是当 Dimension 1 不是 ‘Organisation’ 时，新列的值应取其上方最近一个 Dimension 1 为 ‘Organisation’ 的行的 Colonne 1 值，我们可以使用 Series.ffill()。

df['new_ffill'] = df['Colonne 1'].where(df['Dimension 1'].eq('Organisation')).ffill() print("n使用 ffill() 的结果:") print(df)

解释：

1. df[‘Colonne 1’].where(df[‘Dimension 1’].eq(‘Organisation’)) 步骤与 bfill() 相同，生成包含 NaN 的Series。
2. .ffill()：对这个包含 NaN 的Series进行向前填充。这意味着每个 NaN 值都会被其上方的第一个非 NaN 值填充。
   • 索引0-3的NaN在它们上方没有非NaN值，所以它们将保持为NaN。
   • 索引5-6的NaN会被索引4的’RIPP7’填充。
   • 索引7-9的’CNW00′, ‘BSNTF’, ‘RIPNJ’保持不变。

输出结果:

  Colonne 1   Dimension 1 new_bfill new_ffill 0  MTN_LI2      Indicator     RIPP7       NaN 1  MTN_IRU      Indicator     RIPP7       NaN 2  MTN_ACE      Indicator     RIPP7       NaN 3  MTN_IME      Indicator     RIPP7       NaN 4     RIPP7  Organisation     RIPP7     RIPP7 5    CA_SOT     Indicator     CNW00     RIPP7 6    CA_OTI     Indicator     CNW00     RIPP7 7     CNW00  Organisation     CNW00     CNW00 8     BSNTF  Organisation     BSNTF     BSNTF 9     RIPNJ  Organisation     RIPNJ     RIPNJ

注意事项：

• 初始NaN值： 使用 ffill() 时，如果Series的开头部分是 NaN 且其上方没有有效值，这些 NaN 将会保留。同理，使用 bfill() 时，如果Series的末尾部分是 NaN 且其下方没有有效值，这些 NaN 也会保留。根据实际需求，可能需要对这些初始或末尾的 NaN 进行额外的处理（例如，填充一个默认值）。
• 性能： 这种组合方法是Pandas中处理此类问题的向量化、高效方式，尤其适用于大型数据集，远优于使用Python循环或 apply 方法。
• 灵活性： where() 方法可以接受更复杂的布尔条件，而 bfill() 和 ffill() 也可以配合 limit 参数来限制填充的范围。

总结

通过巧妙地结合 Series.where() 和 Series.bfill() / Series.ffill()，我们可以在Pandas中高效地创建依赖于行间关系的条件列。这种方法不仅代码简洁，而且在处理大规模数据时表现出卓越的性能，是Pandas数据操作中非常实用的技巧。理解其工作原理，可以帮助我们解决各种复杂的条件赋值和数据填充问题。