Python Academy · 课时

数据清洗与预处理

Q: 「数据清洗与预处理」这节课中我会学到什么？

理解如何处理缺失数据、删除重复项，并为分析预处理原始数据 你通过在浏览器中直接运行的动手代码来练习 Python Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。

理解如何处理缺失数据、删除重复项，并为分析预处理原始数据

数据清洗与预处理 是 CoddyKit 上的免费 Python Academy 课时。这是第 4 节课，共 5 节。你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。这是 Python Academy 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 Python Academy 课程共包含 5 节课。

数据清洗概览

数据清洗与预处理

原始数据通常比较杂乱，在进行分析前需要先清洗和预处理。这些步骤对于确保分析的质量和准确性至关重要。

在本课中，您将学习处理缺失数据、删除重复项以及为分析预处理数据的技巧。

什么是数据清洗？

数据清洗包括识别和修复数据集中的错误。常见任务包括：

处理缺失值。
删除重复项。
统一格式。

处理缺失数据

缺失数据可能由多种原因造成。您可以通过以下方式处理：

使用默认值或 mean/中位数填充缺失值。
删除包含过多缺失值的行或列。

# Example: Handling missing data
import pandas as pd

data = {'Name': ['Alice', 'Bob', None], 'Age': [25, None, 30]}
df = pd.DataFrame(data)
df['Age'].fillna(df['Age'].mean(), inplace=True)
print(df)

删除重复项

重复数据可能会使分析结果产生偏差。请使用 Pandas 删除重复项：

# Example: Removing duplicates
data = {'Name': ['Alice', 'Bob', 'Alice'], 'Age': [25, 30, 25]}
df = pd.DataFrame(data)
df = df.drop_duplicates()
print(df)

统一数据格式

数据标准化可以确保一致性。例如，您可以统一日期格式或文本大小写：

# Example: Standardizing text case
data = {'Name': ['Alice', 'BOB', 'alice']}
df = pd.DataFrame(data)
df['Name'] = df['Name'].str.capitalize()
print(df)

转换数据

缩放和编码等转换属于预处理的一部分：

缩放：对数值进行标准化。
编码：将分类数据转换为数值形式。

# Example: Encoding categorical data
from sklearn.preprocessing import LabelEncoder

data = {'Category': ['A', 'B', 'A']}
df = pd.DataFrame(data)
encoder = LabelEncoder()
df['Category'] = encoder.fit_transform(df['Category'])
print(df)

数据缩放

缩放可确保数值数据处于相同的尺度，这对于机器学习算法至关重要：

# Example: Scaling data
from sklearn.preprocessing import StandardScaler

values = [[10], [20], [30]]
scaler = StandardScaler()
scaled_values = scaler.fit_transform(values)
print(scaled_values)

数据验证

验证可确保数据符合质量标准。例如，请检查异常值或无效值：

# Example: Validating data
import numpy as np

data = [10, 20, 1000]  # 1000 might be an outlier
mean = np.mean(data)
std_dev = np.std(data)
outliers = [x for x in data if abs(x - mean) > 2 * std_dev]
print("Outliers:", outliers)

数据清洗中的常见错误

以下是需要避免的一些错误：

忽略缺失数据，导致分析结果不准确。
未统一格式，导致数据不一致。
忽视验证，导致后续任务中出现错误。

我们学到了什么

在本课中，您学习了：

如何处理缺失数据并删除重复数据。
如何对数据进行标准化、转换和缩放，以便进行分析。
如何验证数据质量并识别异常值。
数据清洗对于获得准确分析结果的重要性。

做得很好！接下来让我们学习下一个主题。

常见问题解答

「数据清洗与预处理」课时是免费的吗？

是的 — 「数据清洗与预处理」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 Python Academy 课程的其余内容，请升级到 CoddyKit PRO。 Python Academy 课程共包含 5 节课。

「数据清洗与预处理」这节课中我会学到什么？

理解如何处理缺失数据、删除重复项，并为分析预处理原始数据你通过在浏览器中直接运行的动手代码来练习 Python Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。

学习 Python Academy 需要有经验吗？

无需任何先前经验。CoddyKit 上的 Python Academy 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。这是第 4 节课，共 5 节。

「数据清洗与预处理」课时需要多长时间？

大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。

我能在这节 Python Academy 课中编写并运行代码吗？

能。每节 Python Academy 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。

此课程中的所有课时

← 返回 Python Academy