使用 LabelEncoder 时避免“未见标签”错误

本文旨在帮助读者理解并解决在使用 LabelEncoder 对数据进行编码时遇到的“y contains previously unseen labels”错误。我们将深入探讨错误原因，并提供清晰的代码示例，展示如何正确地使用 LabelEncoder 对多个特征列进行编码，确保模型训练和预测过程的顺利进行。

理解“未见标签”错误

LabelEncoder 是 sklearn.preprocessing 模块中的一个实用工具，用于将字符串类型的标签转换为数值类型。它通过为每个唯一的标签分配一个整数来实现这一点。在使用 LabelEncoder 时，常见的错误是“y contains previously unseen labels”。 这个错误通常发生在以下情况：

1. 训练集和测试集标签不一致： LabelEncoder 在训练集上学习了标签到数字的映射关系，然后在测试集上使用这个映射关系。如果测试集中出现了训练集中没有的标签，就会抛出此错误。
2. 错误的使用方式： LabelEncoder的fit_transform方法被错误地应用于DataFrame的行，而不是整个列。

正确使用 LabelEncoder

为了避免上述错误，正确的做法是针对每个需要编码的特征列，分别创建一个 LabelEncoder 实例，并使用该实例对该列进行拟合和转换。

以下代码演示了如何正确地对 DataFrame 中的多个特征列进行编码：

import pandas as pd from sklearn.preprocessing import LabelEncoder  # 假设你的 DataFrame 为 tr_df 和 cv_df，需要编码的列为 encodable_columns encodable_columns = ['Education', 'EmploymentType', 'MaritalStatus',                      'HasMortgage', 'HasDependents', 'LoanPurpose', 'Hascosigner']  # 对 cv_df 进行编码 for col in encodable_columns:     label_encoder = LabelEncoder()     cv_df[col] = label_encoder.fit_transform(cv_df[col])  # 对 tr_df 进行编码，注意这里要使用 transform，而不是 fit_transform for col in encodable_columns:     label_encoder = LabelEncoder()     tr_df[col] = label_encoder.fit_transform(tr_df[col])

代码解释：

1. 循环遍历： 代码循环遍历 encodable_columns 列表中的每个特征列。
2. 创建 LabelEncoder 实例： 在每次循环中，都会创建一个新的 LabelEncoder 实例，确保每个特征列都有自己的编码器。
3. 拟合和转换训练集： 对于训练集 (tr_df)，使用 fit_transform 方法，该方法首先学习标签到数字的映射关系，然后使用该映射关系转换数据。
4. 转换测试集： 对于测试集 (cv_df)，使用 transform 方法，该方法使用训练集学习到的映射关系转换数据。 注意： 这里非常重要，测试集只能使用训练集学习到的映射关系，不能重新拟合。

总结与注意事项

• 始终为每个特征列创建一个独立的 LabelEncoder 实例。
• 在训练集上使用 fit_transform 方法，学习标签到数字的映射关系。
• 在测试集上使用 transform 方法，使用训练集学习到的映射关系转换数据。
• 确保训练集包含所有可能的标签，或者使用其他方法处理测试集中未见过的标签（例如，使用 OneHotEncoder 并设置 handle_unknown=’ignore’）。
• 考虑使用 OneHotEncoder 代替 LabelEncoder，尤其是在特征之间没有自然顺序的情况下，因为 OneHotEncoder 可以避免模型误解编码后的数字之间的关系。

通过遵循这些建议，你可以避免“y contains previously unseen labels”错误，并确保你的数据编码过程正确可靠。