使用 NumPy 和 Pandas 从包含特定文本的列中提取数据

本文档介绍了如何使用 NumPy 的 np.where 函数和 Pandas 的字符串处理方法，从 DataFrame 的文本列中提取特定信息并将其分配到相应的列。通过示例代码展示了如何根据关键词搜索文本列，并使用正则表达式提取关键词后的数字，最终将提取的数据填充到新的列中。适用于处理包含非结构化文本数据的 DataFrame，并需要根据特定模式提取信息的场景。

数据准备

假设我们有一个 Pandas DataFrame，其中包含球员的统计数据，其中一列名为 “Notes”，用于记录球员的动作描述。如果球员有多个动作，则这些动作的描述会连接在一起，没有空格分隔。我们的目标是从 “Notes” 列中提取特定动作（例如，击中门框 “woodwork” 或错失良机 “Big chances missed”）的数量，并将这些数量分配到 DataFrame 中相应的列中。

以下是一个示例 DataFrame：

import pandas as pd import numpy as np  data = {'Pl_Name': ['Leny Yoro', 'Tiago Santos', 'Adam Ounas', 'Alexsandro Ribeiro', 'Nabil Bentaleb', 'Edon Zhegrova', 'Ismaily', 'Rémy Cabella', 'Benjamin André', 'Angel Gomes', 'Ivan Cavaleiro', 'Lucas Chevalier', 'Samuel Umtiti', 'Jonathan David'],         'Notes': ['-', '-', 'Hit woodwork: 1', '-', '-', 'Big chances missed: 1', '-', 'Hit woodwork: 1Big chances missed: 1', '-', '-', '-', '-', '-', 'Big chances missed: 2']} df = pd.DataFrame(data)  # 创建其他列，初始值为空 df['Woodwork'] = '' df['Big_Chances'] = ''  print(df)

使用 np.where 和正则表达式提取数据

以下代码演示了如何使用 np.where 函数和正则表达式从 “Notes” 列中提取 “woodwork” 和 “Big chances missed” 的数量，并将它们分别分配到 “Woodwork” 和 “Big_Chances” 列。

df["Woodwork"] = np.where(df['Notes'].str.contains('Hit woodwork', regex=False), df['Notes'].str.extract(r'(?<=Hit woodwork: )(d+)', expand=False), '') df["Big_Chances"] = np.where(df['Notes'].str.contains('Big chances missed', regex=False), df['Notes'].str.extract(r'(?<=Big chances missed: )(d+)', expand=False), '') print(df)

代码解释：

1. df[‘Notes’].str.contains(‘Hit woodwork’, regex=False): 这部分代码检查 “Notes” 列中的每个字符串是否包含 “Hit woodwork” 子字符串。 regex=False 参数表示我们正在进行字面字符串匹配，而不是正则表达式匹配。
2. df[‘Notes’].str.extract(r'(?: 如果 “Notes” 列中的字符串包含 “Hit woodwork”，则此代码使用正则表达式提取 “Hit woodwork:” 之后的一个或多个数字。
   • (?
   • (d+) 匹配一个或多个数字，并将其捕获到组中。
   • expand=False 参数返回一个 Series，而不是一个 DataFrame。

3. np.where(condition, x, y): np.where 函数根据条件返回从 x 或 y 中选择的元素。 在这种情况下，如果 “Notes” 列中的字符串包含 “Hit woodwork”，则从 extract 函数返回的值中选择数字，否则选择空字符串 ”。

对于 “Big chances missed” 的提取，逻辑相同，只是关键词和正则表达式不同。

注意事项

• 正则表达式: 正则表达式是强大的文本匹配工具，但也很复杂。 确保你的正则表达式正确匹配你想要提取的文本。
• regex=False: 如果你的关键词包含正则表达式中的特殊字符（例如 .、*、?），则需要设置 regex=False 以进行字面字符串匹配。
• 数据类型: extract 函数返回的默认数据类型是 object (字符串)。 如果你需要将提取的数字用作数值数据，则需要将其转换为适当的数据类型（例如 int 或 float）。 可以使用 astype() 方法进行转换，例如：df[“Woodwork”] = df[“Woodwork”].astype(int)。 需要注意的是，如果列中包含空字符串 ”，则直接转换为 int 会报错，需要先将空字符串替换为 0 或 NaN。
• 缺失值处理: 如果 “Notes” 列中包含缺失值 (NaN)，则 str.contains() 和 str.extract() 方法会返回 NaN。 你需要在使用这些方法之前处理缺失值，例如使用 fillna(”) 将 NaN 替换为空字符串。

总结

本文档介绍了如何使用 NumPy 的 np.where 函数和 Pandas 的字符串处理方法，从 DataFrame 的文本列中提取特定信息。 这种方法可以应用于各种文本数据处理任务，例如从日志文件中提取信息、从用户评论中提取情感等。 通过合理使用正则表达式和 Pandas 的字符串处理方法，可以有效地处理非结构化的文本数据，并将其转换为结构化的数据格式，以便进行进一步的分析和建模。