Avaliando o desempenho do modelo

Avaliar o desempenho de um modelo de aprendizado de máquina é fundamental para garantir sua eficácia. Usamos métricas como acurácia, precisão, revocação e pontuação F1 em problemas de classificação.

Acurácia

A acurácia mede a proporção de instâncias previstas corretamente em relação ao número total de instâncias:

Accuracy = (True Positives + True Negatives) / Total Instances

Embora seja útil, a acurácia isoladamente pode não ser suficiente para conjuntos de dados desbalanceados.

Precisão

A precisão concentra-se na correção das previsões positivas:

Precision = True Positives / (True Positives + False Positives)

Uma precisão alta significa menos falsos positivos.

Revocação

A revocação mede a capacidade do modelo de identificar corretamente todas as instâncias positivas:

Recall = True Positives / (True Positives + False Negatives)

Uma revocação alta significa menos falsos negativos.

Pontuação F1

A pontuação F1 é a média harmônica da precisão e da revocação:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Ela equilibra a precisão e a revocação, sendo especialmente útil para conjuntos de dados desbalanceados.

Usando o scikit-learn para calcular métricas

O scikit-learn fornece funções para calcular essas métricas:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

Matriz de confusão

Uma matriz de confusão fornece uma visão detalhada do desempenho do modelo:

• Verdadeiros positivos (TP): Previsões positivas corretas.
• Falsos positivos (FP): Previsões positivas incorretas.
• Verdadeiros negativos (TN): Previsões negativas corretas.
• Falsos negativos (FN): Previsões negativas incorretas.

Escolhendo a métrica adequada

A escolha da métrica depende do problema:

• Acurácia: Funciona bem com conjuntos de dados equilibrados.
• Precisão: É importante quando os falsos positivos têm um custo alto.
• Revocação: É fundamental quando os falsos negativos têm um custo alto.
• Pontuação F1: Métrica equilibrada para conjuntos de dados desbalanceados.

Resumo e próximos passos

Nesta lição, abordamos:

• Métricas para avaliar o desempenho do modelo: acurácia, precisão, revocação e pontuação F1.
• Como calcular essas métricas usando o scikit-learn.
• Como interpretar uma matriz de confusão.

A seguir, exploraremos métodos de aprendizado não supervisionado, como o agrupamento.