Pandas GroupBy 聚合：基于状态列的条件聚合

本文介绍了如何使用 Pandas 的 groupby() 和 agg() 函数，在分组聚合时，根据状态列（’OPEN’ 或 ‘CLOSED’）的值进行条件聚合。核心在于，如果分组中存在至少一个 ‘OPEN’ 状态，则聚合结果为 ‘OPEN’，否则为 ‘CLOSED’。文章提供了多种实现方式，包括使用 any() 方法、预处理状态列以及使用 map() 函数进行映射，并分析了各自的优缺点。

Pandas 的 groupby() 功能非常强大，可以对 DataFrame 进行分组，然后对每个组应用聚合函数。 本文将探讨如何在使用 groupby() 和 agg() 函数时，针对包含 ‘OPEN’ 和 ‘CLOSED’ 状态的列进行条件聚合，目标是如果组内存在至少一个 ‘OPEN’ 状态，则聚合结果为 ‘OPEN’，否则为 ‘CLOSED’。

方法一：使用 Lambda 函数和 any()

这是最直接的方法，使用 lambda 函数结合 any() 方法来判断组内是否存在 ‘OPEN’ 状态。

import pandas as pd import numpy as np  # 示例数据 data = {'col1': ['A', 'A', 'B', 'B', 'A'],         'col2': ['X', 'Y', 'X', 'Y', 'X'],         'col3': [1, 2, 1, 2, 1],         'col4': [10, 20, 30, 40, 50],         'Status': ['OPEN', 'CLOSED', 'CLOSED', 'OPEN', 'CLOSED']} df = pd.DataFrame(data)  # 方法一：使用 lambda 函数和 any() df_agg = df.groupby(['col1', 'col2', 'col3'], as_index=False).agg(     {'col4': 'sum',      'Status': lambda x: 'OPEN' if x.eq('OPEN').any() else 'CLOSED'})  print(df_agg)

代码解释：

1. df.groupby([‘col1’, ‘col2’, ‘col3’], as_index=False): 根据 col1、col2 和 col3 列进行分组。as_index=False 确保分组键不会成为索引。
2. .agg({‘col4’: ‘sum’, ‘Status’: lambda x: ‘OPEN’ if x.eq(‘OPEN’).any() else ‘CLOSED’}): 对分组后的数据进行聚合。
   • ‘col4’: ‘sum’：对 col4 列求和。
   • ‘Status’: lambda x: ‘OPEN’ if x.eq(‘OPEN’).any() else ‘CLOSED’： 对 Status 列应用一个 lambda 函数。 该 lambda 函数检查组中是否存在任何等于 ‘OPEN’ 的值。 如果存在，则返回 ‘OPEN’，否则返回 ‘CLOSED’。x.eq(‘OPEN’) 用于比较字符串是否完全相等。

注意事项：

• x.eq(‘OPEN’).any() 确保比较的是字符串完全相等的情况。如果需要匹配子字符串（例如，’OPENING’ 也被认为是 ‘OPEN’），则可以使用 x.str.contains(‘OPEN’).any()。

方法二：预处理状态列并使用 max()

此方法首先将状态列转换为 ‘OPEN’ 或 ‘CLOSED’，然后使用 max() 函数进行聚合。由于 ‘OPEN’ 在字母顺序上大于 ‘CLOSED’，因此 max() 函数将返回组中存在的 ‘OPEN’。

# 方法二：预处理状态列并使用 max() df_agg = (df.assign(Status = np.where(df['Status'].eq('OPEN'), 'OPEN', 'CLOSED'))           .groupby(['col1', 'col2', 'col3'], as_index=False)            .agg({'col4': 'sum', 'Status': 'max'}))  print(df_agg)

代码解释：

1. df.assign(Status = np.where(df[‘Status’].eq(‘OPEN’), ‘OPEN’, ‘CLOSED’)): 使用 np.where() 函数将 Status 列的值转换为 ‘OPEN’ 或 ‘CLOSED’。 这一步确保所有值都是 ‘OPEN’ 或 ‘CLOSED’，即使原始数据包含其他值。
2. .groupby([‘col1’, ‘col2’, ‘col3’], as_index=False): 与方法一相同，根据指定的列进行分组。
3. .agg({‘col4’: ‘sum’, ‘Status’: ‘max’}): 对分组后的数据进行聚合。 由于 ‘OPEN’ 在字母顺序上大于 ‘CLOSED’，因此 max() 函数将返回组中存在的 ‘OPEN’。

优点：

• 代码更简洁，可读性更高。
• 性能可能略优于方法一，因为它避免了 lambda 函数的调用。

注意事项：

• 这种方法依赖于 ‘OPEN’ 在字母顺序上大于 ‘CLOSED’ 的事实。 如果状态值不是 ‘OPEN’ 和 ‘CLOSED’，则需要根据实际情况进行调整。

方法三：使用布尔值和 any()，然后映射回字符串

此方法首先将状态列转换为布尔值（True 表示 ‘OPEN’，False 表示 ‘CLOSED’），然后使用 any() 函数进行聚合，最后将布尔值映射回字符串。

# 方法三：使用布尔值和 any()，然后映射回字符串 df_agg = (df.assign(Status = df['Status'].eq('OPEN'))            .groupby(['col1', 'col2', 'col3'], as_index=False)            .agg({'col4': 'sum', 'Status': 'any'})            .assign(Status = lambda x: x['Status'].map({True:'OPEN',False:'CLOSED'}))  print(df_agg)

代码解释：

1. df.assign(Status = df[‘Status’].eq(‘OPEN’)): 将 Status 列转换为布尔值。 True 表示 ‘OPEN’，False 表示 ‘CLOSED’。
2. .groupby([‘col1’, ‘col2’, ‘col3’], as_index=False): 与前两种方法相同，根据指定的列进行分组。
3. .agg({‘col4’: ‘sum’, ‘Status’: ‘any’}): 对分组后的数据进行聚合。 any() 函数返回组中是否存在任何 True 值。
4. .assign(Status = lambda x: x[‘Status’].map({True:’OPEN’,False:’CLOSED’})): 将布尔值映射回字符串。 True 映射到 ‘OPEN’，False 映射到 ‘CLOSED’。

优点：

• 逻辑清晰，易于理解。
• 可以灵活地映射到任何字符串值。

注意事项：

• 需要额外的映射步骤，可能会影响性能。

总结

本文介绍了三种使用 Pandas 的 groupby() 和 agg() 函数，根据状态列进行条件聚合的方法。 选择哪种方法取决于具体的需求和偏好。

• 如果需要匹配子字符串，则应使用 x.str.contains(‘OPEN’).any()。
• 如果追求代码简洁和性能，则可以考虑预处理状态列并使用 max() 函数。
• 如果需要灵活地映射到任何字符串值，则可以使用布尔值和 any() 函数，然后进行映射。

无论选择哪种方法，都应该仔细考虑其优缺点，并根据实际情况进行选择。