使用 NumPy 和 Pandas 从包含特定字符串的列中提取数据

本文介绍如何使用 NumPy 的 np.where 函数和 Pandas 的字符串处理方法，从包含特定字符串的 DataFrame 列中提取数据，并将提取的数据分配到相应的列。重点在于结合 str.contains 和 str.extract 方法，以及正确构造正则表达式，以应对字段内容不一致的情况。

提取数据并分配到新列

假设你有一个 Pandas DataFrame，其中一列（例如 “Notes”）包含描述性文本，并且你希望根据文本中出现的特定关键词提取相关数值，并将这些数值分配到 DataFrame 的新列中。例如，”Notes” 列可能包含诸如 “Hit woodwork: 1” 或 “Big chances missed: 2” 之类的字符串，而你希望提取 “woodwork” 和 “Big chances missed” 对应的数值。

以下是如何使用 np.where 和正则表达式来实现此目的：

import pandas as pd import numpy as np  # 示例 DataFrame data = {'Pl_Name': ['Leny Yoro', 'Tiago Santos', 'Adam Ounas', 'Alexsandro Ribeiro', 'Nabil Bentaleb', 'Edon Zhegrova', 'Ismaily', 'Rémy Cabella', 'Benjamin André', 'Angel Gomes', 'Ivan Cavaleiro', 'Lucas Chevalier', 'Samuel Umtiti', 'Jonathan David'],         'Notes': ['-', '-', 'Hit woodwork: 1', '-', '-', 'Big chances missed: 1', '-', 'Hit woodwork: 1Big chances missed: 1', '-', '-', '-', '-', '-', 'Big chances missed: 2'],         'Woodwork': [''] * 14,         'Msd Pen': [''] * 14,         'Big_Chances': [''] * 14,         'Created': [''] * 14} df = pd.DataFrame(data)  # 提取 "Woodwork" 的数值 df["Woodwork"] = np.where(df['Notes'].str.contains('Hit woodwork', regex=False), df['Notes'].str.extract(r'(?<=Hit woodwork: )(d+)', expand=False), '')  # 提取 "Big chances missed" 的数值 df["Big_Chances"] = np.where(df['Notes'].str.contains('Big chances missed', regex=False), df['Notes'].str.extract(r'(?<=Big chances missed: )(d+)', expand=False), '')  print(df)

代码解释:

1. 导入必要的库: 导入 pandas 用于数据处理和 numpy 用于条件判断。
2. np.where 函数: np.where(condition, x, y) 是一个 NumPy 函数，它根据 condition 返回 x 或 y。如果 condition 为真，则返回 x，否则返回 y。
3. df[‘Notes’].str.contains(‘Hit woodwork’, regex=False): 使用 Pandas 的字符串方法 str.contains 检查 ‘Notes’ 列中的每个字符串是否包含 “Hit woodwork”。 regex=False 参数表示将 “Hit woodwork” 视为普通字符串，而不是正则表达式。这可以避免正则表达式的特殊字符带来的问题，并提高效率。
4. df[‘Notes’].str.extract(r'(? 使用 Pandas 的字符串方法 str.extract 从 ‘Notes’ 列中提取匹配正则表达式的子字符串。
   • r'(?
   • (?
   • (d+) 匹配一个或多个数字，并将其捕获到一个组中。+ 确保提取所有连续的数字，而不仅仅是第一个。

5. expand=False 参数确保返回一个 Series，而不是一个 DataFrame。
6. 赋值给新列: 提取到的数值被赋值给 DataFrame 中名为 “Woodwork” 和 “Big_Chances” 的新列。

正则表达式的注意事项

• (? 这个结构允许你匹配前面有特定字符串的文本，但不将该字符串包含在匹配结果中。例如，(?
• (d+) (匹配一个或多个数字): d 匹配任何数字 (0-9)。 + 确保匹配一个或多个连续的数字。 重要的是使用 +，这样如果数值包含多个数字，它们都会被提取出来。
• regex=False: 如果搜索的字符串不包含正则表达式的特殊字符，并且你希望提高性能，则可以使用 regex=False。

总结

通过结合 np.where、str.contains 和 str.extract，你可以有效地从 Pandas DataFrame 的文本列中提取信息，并将其组织到新的列中。 正确构造正则表达式是关键，需要考虑到目标字符串的上下文和可能的变化。 此外，使用 regex=False 在适当的情况下可以提高代码的效率。