数据清理与预处理
了解如何处理缺失数据、删除重复数据，并为分析预处理原始数据
数据清理与预处理 是 CoddyKit 上的免费 Python For Kids 课时。 这是第 4 节课，共 5 节。 你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。 这是 Python For Kids 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 Python For Kids 课程共包含 5 节课。
数据清理概述
数据清理与预处理
原始数据通常比较杂乱，在分析之前需要进行清理和预处理。这些步骤对于确保分析的质量和准确性至关重要。
在本课中，您将学习如何处理缺失数据、删除重复项，以及为分析预处理数据。
什么是数据清洗
数据清洗包括识别和修复数据集中的错误。常见任务包括：
- 处理缺失值。
- 删除重复项。
- 统一格式。
处理缺失数据
缺失数据可能由各种原因造成。您可以通过以下方式处理：
- 使用默认值或均值/中位数填充缺失值。
- 删除包含过多缺失值的行或列。
# Example: Handling missing data
import pandas as pd
data = {'Name': ['Alice', 'Bob', None], 'Age': [25, None, 30]}
df = pd.DataFrame(data)
df['Age'].fillna(df['Age'].mean(), inplace=True)
print(df)删除重复数据
重复数据可能会使分析结果产生偏差。使用 Pandas 删除重复数据：
# Example: Removing duplicates
data = {'Name': ['Alice', 'Bob', 'Alice'], 'Age': [25, 30, 25]}
df = pd.DataFrame(data)
df = df.drop_duplicates()
print(df)标准化数据
数据标准化可以确保数据的一致性。例如，您可以统一日期格式或文本大小写：
# Example: Standardizing text case
data = {'Name': ['Alice', 'BOB', 'alice']}
df = pd.DataFrame(data)
df['Name'] = df['Name'].str.capitalize()
print(df)转换数据
缩放和编码等转换属于预处理的一部分：
- 缩放：对数值进行标准化。
- 编码：将分类数据转换为数值形式。
# Example: Encoding categorical data
from sklearn.preprocessing import LabelEncoder
data = {'Category': ['A', 'B', 'A']}
df = pd.DataFrame(data)
encoder = LabelEncoder()
df['Category'] = encoder.fit_transform(df['Category'])
print(df)缩放数据
缩放可以确保数值数据处于相同的尺度，这对于机器学习算法至关重要：
# Example: Scaling data
from sklearn.preprocessing import StandardScaler
values = [[10], [20], [30]]
scaler = StandardScaler()
scaled_values = scaler.fit_transform(values)
print(scaled_values)验证数据
验证可以确保数据符合质量标准。例如，检查异常值或无效值：
# Example: Validating data
import numpy as np
data = [10, 20, 1000] # 1000 might be an outlier
mean = np.mean(data)
std_dev = np.std(data)
outliers = [x for x in data if abs(x - mean) > 2 * std_dev]
print("Outliers:", outliers)数据清洗中的常见错误
以下是需要避免的一些错误：
- 忽略缺失数据，导致分析结果不准确。
- 不统一数据格式，导致数据不一致。
- 忽略验证步骤，导致后续任务中出现错误。
我们学到了什么
在本课中，您学习了：
- 如何处理缺失数据并删除重复数据。
- 如何为分析标准化、转换和缩放数据。
- 如何验证数据质量并识别异常值。
- 数据清洗对于准确分析的重要性。
做得很好！让我们进入下一个主题。
常见问题解答
「数据清理与预处理」课时是免费的吗？
是的 — 「数据清理与预处理」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 Python For Kids 课程的其余内容，请升级到 CoddyKit PRO。 Python For Kids 课程共包含 5 节课。
「数据清理与预处理」这节课中我会学到什么？
了解如何处理缺失数据、删除重复数据，并为分析预处理原始数据 你通过在浏览器中直接运行的动手代码来练习 Python For Kids，全天候 AI 导师会在你学习这节课的过程中回答你的问题。
学习 Python For Kids 需要有经验吗？
无需任何先前经验。CoddyKit 上的 Python For Kids 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。 这是第 4 节课，共 5 节。
「数据清理与预处理」课时需要多长时间？
大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。
我能在这节 Python For Kids 课中编写并运行代码吗？
能。每节 Python For Kids 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。