Pandas数据框多列条件赋值：列表推导与apply函数实践

本文旨在探讨如何在Pandas数据框中基于多列条件创建新列。针对列表推导式中迭代多个Series的常见语法错误，本文将详细解释如何正确使用zip函数进行迭代。同时，针对复杂的多条件逻辑，文章将介绍如何结合apply()方法与自定义函数，以提高代码的可读性和可维护性。通过对比两种方法，帮助读者根据实际需求选择最合适的策略，高效地进行数据处理和转换。

在pandas数据处理中，根据现有列的条件生成新列是常见的需求。例如，我们可能需要根据“姓名输入1”和“姓名输入2”两列的值来决定“姓氏”列的内容。然而，在尝试使用列表推导式同时迭代多个pandas series时，常常会遇到语法错误。

1. 修正列表推导式中的迭代错误

原始尝试直接在列表推导式中用逗号分隔多个Series进行迭代，这会导致语法错误。Python的列表推导式在迭代多个可迭代对象时，需要使用zip()函数将它们打包成一个元组序列，然后对每个元组进行解包迭代。

错误示例（原问题中的代码）：

names_df['Surname'] = [     'MISSING' if i != '' and j == '' else j     for i, j in names_df['Name Entry 1'], names_df['Name Entry 2'] # 错误用法 ]

上述代码的错误在于for i, j in names_df[‘Name Entry 1’], names_df[‘Name Entry 2’]这一行。Python的for循环无法直接通过逗号同时迭代多个独立的序列。

正确使用 zip() 函数：

zip()函数可以将多个可迭代对象中对应位置的元素打包成一个个元组，然后返回由这些元组组成的迭代器。这是同时遍历多个序列的正确且常用方法。

import pandas as pd  # 示例数据框 data = {     'Name Entry 1': ['John', 'Jane', '', 'Mike', 'Emily'],     'Name Entry 2': ['Doe', 'Smith', 'Johnson', '', 'Brown'] } names_df = pd.DataFrame(data)  # 使用zip函数修正列表推导式 names_df['Surname'] = [     'MISSING' if i != '' and j == '' else j     for i, j in zip(names_df['Name Entry 1'], names_df['Name Entry 2']) ]  print("使用列表推导式（zip）后的数据框：") print(names_df)

优点：

• 对于简单的条件逻辑，代码非常简洁且易于理解。
• 通常比使用apply函数在性能上更优，因为它在Python级别进行迭代和操作，避免了Pandas内部的一些开销。

局限性：

• 当条件逻辑变得复杂，涉及多个elif分支时，列表推导式会变得冗长且难以阅读。嵌套的三元表达式会显著降低代码可读性。

2. 使用 apply() 结合自定义函数处理复杂逻辑

当需要处理多层if/elif/else条件时，将所有逻辑塞进一个列表推导式中会变得非常笨拙。此时，Pandas的apply()方法结合自定义函数是更推荐的选择。通过定义一个清晰的函数来封装复杂的业务逻辑，可以大大提高代码的可读性和可维护性。

实现方式：

1. 定义一个自定义函数： 该函数通常接受一行数据（作为Pandas Series对象）作为输入。
2. 在函数内部实现条件逻辑： 根据行的不同列值进行判断，并返回期望的结果。
3. 使用 df.apply() 调用函数： 将自定义函数应用于数据框的每一行（通过设置axis=1）。

import pandas as pd  # 示例数据框（与上文相同） data = {     'Name Entry 1': ['John', 'Jane', '', 'Mike', 'Emily'],     'Name Entry 2': ['Doe', 'Smith', 'Johnson', '', 'Brown'] } names_df = pd.DataFrame(data)  # 定义一个处理姓氏逻辑的函数 def determine_surname(row):     """     根据'Name Entry 1'和'Name Entry 2'的值决定'Surname'。     """     if row['Name Entry 1'] != '' and row['Name Entry 2'] == '':         return 'MISSING'     # 可以添加更多elif条件来处理更复杂的逻辑     # elif row['Name Entry 1'] == '' and row['Name Entry 2'] != '':     #     return 'UNKNOWN'     else:         return row['Name Entry 2']  # 使用apply方法将函数应用到每一行 names_df['Surname'] = names_df.apply(determine_surname, axis=1)  print("n使用apply函数后的数据框：") print(names_df)

优点：

• 代码可读性强： 复杂的逻辑被封装在独立的函数中，易于理解和调试。
• 易于扩展： 可以轻松添加更多的elif条件来处理更复杂的业务规则，而不会使代码变得混乱。
• 模块化： 自定义函数可以被复用，提高代码的模块化程度。

注意事项：

• 性能考量： apply()方法本质上是在Python层面进行迭代，对于非常大的数据集，其性能可能不如向量化操作（如Pandas内置的np.where、mask等）高效。然而，对于无法完全向量化的复杂逻辑，apply()通常是可读性和灵活性之间的最佳平衡点。

总结与选择建议

在Pandas中基于多列条件创建新列时，选择合适的方法至关重要：

• 对于简单、直接的条件判断（例如，只有一两个if/else分支）： 优先考虑使用列表推导式结合zip()。它通常更简洁，且在性能上表现良好。
• 对于复杂、多分支的条件逻辑（涉及多个elif）： 强烈推荐使用apply()方法结合自定义函数。这种方式能显著提高代码的可读性、可维护性和可扩展性，即使在处理少量数据时可能略有性能牺牲，但其带来的清晰度优势往往更大。

最终，选择哪种方法取决于你的具体需求：是追求极致的简洁和性能（简单情况），还是更注重代码的可读性、可维护性和对复杂逻辑的良好支持（复杂情况）。