评估模型性能

评估机器学习模型的性能对于确保其有效性至关重要。对于分类问题，我们会使用准确率、精确率、召回率和 F1 分数等指标。

准确率

准确率衡量正确预测的样本数与样本总数之比：

Accuracy = (True Positives + True Negatives) / Total Instances

虽然准确率很有用，但对于类别不平衡的数据集，仅依靠准确率可能并不够。

精确率

精确率关注正类预测的正确性：

Precision = True Positives / (True Positives + False Positives)

精确率高意味着假阳性更少。

召回率

召回率衡量模型正确识别所有正类样本的能力：

Recall = True Positives / (True Positives + False Negatives)

召回率高意味着假阴性更少。

F1 分数

F1 分数是精确率和召回率的调和平均值：

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

它平衡了精确率和召回率，对于类别不平衡的数据集尤其有用。

使用 scikit-learn 计算指标

Scikit-learn 提供了用于计算这些指标的函数：

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

混淆矩阵

混淆矩阵可以详细展现模型的性能：

• 真阳性 (TP)：正确的正类预测。
• 假阳性 (FP)：错误的正类预测。
• 真阴性 (TN)：正确的负类预测。
• 假阴性 (FN)：错误的负类预测。

选择合适的指标

指标的选择取决于具体问题：

• 准确率：适用于类别均衡的数据集。
• 精确率：当假阳性的代价较高时非常重要。
• 召回率：当假阴性的代价较高时至关重要。
• F1 分数：适用于类别不平衡数据集的平衡指标。

总结与后续步骤

在本课中，我们学习了：

• 用于评估模型性能的指标：准确率、精确率、召回率和 F1 分数。
• 如何使用 scikit-learn 计算这些指标。
• 如何解读混淆矩阵。

接下来，我们将探索聚类等无监督学习方法。