人工智能数据准备

想象一下您正在烹饪美味佳肴。您不会使用腐烂的食材，对吧？

AI 也是同样的道理！数据准备是清理和转换原始数据，使其成为适合 AI 模型使用的干净、可用格式的过程。

这是至关重要的一步，因为数据质量会直接影响 AI 的性能和准确性。

原始数据很少能以完美的状态出现。它通常包含可能误导 AI 模型的问题。

• 缺失值：数据本应存在却出现空缺。
• 不一致：同一信息采用了不同格式。
• 重复项：重复出现的记录。
• 异常值：可能使结果发生偏差的极端值。

识别这些问题是第一步。

缺失值可能导致错误或有偏差的结果。以下是一些常见策略：

• 删除：移除缺失数据过多的行或列（请谨慎使用！）。
• 填补：补充缺失值。您可以使用该列的平均值、中位数或众数。
• 预测：使用其他特征预测并填补缺失值（更高级的方法）。

最佳方法取决于您的数据和 AI 任务。

重复记录意味着同一信息被记录了多次。这可能会夸大数据集规模，并使模型产生偏差。

例如，同一位客户在“新注册用户”列表中出现了两次。

解决方法很直接：识别并删除这些多余的行。大多数数据工具都内置了相关功能。

当同一数据以不同方式表示时，就会出现不一致。例如，“USA”、“U.S.A.”和“United States”都表示同一个国家。

日期格式也可能存在同样的问题（例如“10/01/2023”和“Jan 10, 2023”），单位也是如此（例如“kg”和“lbs”）。

统一这些格式可以确保 AI 模型正确解释数据。

一些 AI 算法（例如 K 近邻）对数值特征的尺度很敏感。取值范围为 1-1000 的特征可能会主导取值范围为 0-1 的特征。

• 归一化：将数值缩放到固定范围，通常为 0 到 1。
• 标准化：转换数据，使其平均值为 0、标准差为 1。

这有助于防止数值较大的特征对模型产生不成比例的影响。

AI 模型使用数值时效果最佳。类别数据（例如“Red”“Green”“Blue”或“Small”“Medium”“Large”）需要进行转换。

• 独热编码：为每个类别创建新的二进制（0 或 1）列。例如“Color_Red”“Color_Green”。
• 标签编码：为每个类别分配唯一整数。例如 Red=0、Green=1、Blue=2。请谨慎使用，因为这种方式会暗示类别之间存在顺序。

有时，仅使用原始特征还不够。特征工程是指从现有特征中创建新特征，以提升模型性能。

示例：

• 将“身高”和“体重”结合起来，创建“BMI”。
• 从“日期”列中提取“月份”或“星期几”。
• 根据“年龄”列创建“年龄组”。

这有助于模型更轻松地发现模式。

在训练 AI 模型之前，您必须将准备好的数据拆分为不同的数据集：

• 训练集：用于训练模型。
• 验证集：用于调整模型的超参数，并在开发过程中防止过拟合。
• 测试集：完全未被模型使用过的数据集，用于最终评估模型的性能。

这样可以确保您的模型能够很好地泛化到新的真实世界数据。

做得很好！在本课中，我们学习了至关重要的数据准备流程。

您学习了以下内容：

• 清理数据（缺失值、重复项和不一致之处）。
• 转换数据（特征缩放和分类数据编码）。
• 基础特征工程。
• 划分数据对于模型评估的重要性。

高质量数据是高效 AI 的基础。请继续练习这些技能！