Python Pandas：高效组合字符串包含与排除条件

本文详细阐述了如何在Pandas DataFrame中结合使用str.contains()方法与逻辑运算符（&和~）来筛选数据。通过构建包含特定子串且不包含另一特定子串的复杂条件，文章提供了清晰的代码示例和关键注意事项，帮助读者掌握在数据处理中实现精准字符串匹配与排除的技巧。

在数据分析和清洗过程中，我们经常需要根据字符串内容进行复杂的筛选。一个常见的需求是：找出那些包含特定关键词，同时又不能包含另一个特定关键词的数据行。例如，在商品描述中，我们可能需要找出所有提及“Mercedes”但没有提及“123”的条目。Pandas库提供了强大的字符串操作功能，结合逻辑运算符，可以轻松实现这种复杂的筛选逻辑。

核心概念：str.contains()与逻辑运算符

Pandas Series的str.contains()方法是进行字符串包含检查的核心工具。它返回一个布尔Series，指示每个元素是否包含指定的子串。

import pandas as pd  # 示例数据 data = {'Details': ['Mercedes 123', 'Green not sold', 'Mercedes A45', 'BMW 320i', 'Mercedes S-Class', 'Mercedes'],         'check': ['Initial', 'Initial', 'Initial', 'Initial', 'Initial', 'Initial']} df = pd.DataFrame(data)  print("原始DataFrame:") print(df)

要实现“包含A且不包含B”的条件，我们需要将两个布尔条件组合起来。这里需要特别注意Python的逻辑运算符（and, or, not）与Pandas（或NumPy）中用于元素级布尔运算的位运算符（&, |, ~）的区别。

• and, or, not: 这些是Python的短路逻辑运算符，用于连接单个布尔值或可转换为布尔值的表达式。它们在操作Pandas Series时会导致错误（如ValueError: The truth value of a Series is ambiguous），因为Series不是单个布尔值。
• & (按位与), | (按位或), ~ (按位非): 这些是Pandas和NumPy中用于对整个布尔Series（或数组）进行元素级逻辑运算的运算符。它们会逐个元素地应用逻辑，并返回一个新的布尔Series。

因此，在Pandas中组合多个str.contains()条件时，必须使用&和~。

立即学习“Python免费学习笔记（深入）”；

实现“包含A且不包含B”的筛选逻辑

假设我们想找到Details列中包含“Mercedes”但不包含“123”的行，并更新其check列的值。

1. 定义第一个条件（包含）： 检查Details列是否包含“Mercedes”。

   condition_contains_mercedes = df['Details'].str.contains('Mercedes') print("n包含'Mercedes'的条件结果:") print(condition_contains_mercedes)

2. 定义第二个条件（不包含）： 检查Details列是否包含“123”，然后使用~运算符对其结果取反，表示“不包含123”。

   condition_not_contains_123 = ~df['Details'].str.contains('123') print("n不包含'123'的条件结果:") print(condition_not_contains_123)

3. 组合两个条件： 使用&运算符将两个布尔Series组合起来，形成最终的筛选条件。

   final_condition = condition_contains_mercedes & condition_not_contains_123 print("n最终组合条件 (包含'Mercedes'且不包含'123') 的结果:") print(final_condition)

4. 应用条件： 可以使用df.loc进行筛选或直接赋值，也可以使用df.mask()方法。df.mask()在条件为True时替换值，这与原问题中的用法一致。

   color1 = "Mercedes (No 123)" # 更新的标记值  # 应用条件，当final_condition为True时，更新df['check']列的值 df['check'] = df['check'].mask(final_condition, color1)  print("n应用条件后的DataFrame:") print(df)

完整示例代码：

import pandas as pd  # 示例数据 data = {'Details': ['Mercedes 123', 'Green not sold', 'Mercedes A45', 'BMW 320i', 'Mercedes S-Class', 'Mercedes'],         'check': ['Initial', 'Initial', 'Initial', 'Initial', 'Initial', 'Initial']} df = pd.DataFrame(data)  print("原始DataFrame:") print(df)  color1 = "Mercedes (No 123)"  # 构建条件：包含'Mercedes' 且 不包含'123' # 注意：使用 & 进行元素级逻辑“与”操作，使用 ~ 进行元素级逻辑“非”操作 condition_mercedes_and_not_123 = df['Details'].str.contains('Mercedes') & (~df['Details'].str.contains('123'))  # 应用条件：当条件为True时，将'check'列的值替换为color1 df['check'] = df['check'].mask(condition_mercedes_and_not_123, color1)  print("n应用条件后的DataFrame:") print(df)

运行上述代码，你会看到Details列为“Mercedes A45”、“Mercedes S-Class”和“Mercedes”的行的check列被更新为“Mercedes (No 123)”，因为它们满足“包含Mercedes且不包含123”的条件。

注意事项

1. 运算符选择： 再次强调，在Pandas Series的布尔运算中，务必使用&（与）、|（或）和~（非），而非Python的and、or、not。
2. 大小写敏感： str.contains()默认是大小写敏感的。如果需要进行不区分大小写的匹配，可以设置case=False参数：

   df['Details'].str.contains('mercedes', case=False)
3. 正则表达式： str.contains()支持使用正则表达式进行更复杂的模式匹配。默认情况下，regex=True。

   # 匹配包含“Benz”或“BMW”的字符串 df['Details'].str.contains('Benz|BMW', regex=True)
4. 处理缺失值（NaN）： 如果Details列中包含NaN值，str.contains()默认会将其视为不匹配，返回False。你可以通过na参数来控制对NaN的处理方式，例如设置为True或None：

   # 对NaN返回True df['Details'].str.contains('Mercedes', na=True) # 对NaN返回NaN (默认行为) df['Details'].str.contains('Mercedes', na=False)

   通常情况下，na=False（默认值）的行为是符合预期的，即NaN不包含任何特定子串。

总结

通过结合使用Pandas的str.contains()方法和位逻辑运算符（&、~），我们可以灵活且高效地构建复杂的字符串筛选条件，实现“包含A且不包含B”、“包含A或包含B”等多种数据筛选需求。理解这些运算符在Pandas Series操作中的正确用法是进行高效数据清洗和分析的关键。掌握这些技巧将极大地提升你在处理文本数据时的能力。