Precisão, Revocação, F1 e ROC-AUC

Quando uma classe predomina, a precisão parece excelente até para um modelo inútil. Você precisa de métricas mais precisas para avaliar o desempenho real.

Toda previsão é um verdadeiro positivo, um verdadeiro negativo, um falso positivo ou um falso negativo. Essas quatro contagens sustentam todas as métricas mais elaboradas.

A precisão pergunta: de tudo o que você classificou como positivo, quanto realmente era positivo? Uma precisão alta significa poucos falsos alarmes.

A revocação pergunta: de todos os positivos reais, quantos você encontrou? Uma revocação alta significa poucos casos perdidos.

Aumentar a precisão geralmente reduz a revocação, e o contrário também acontece. O equilíbrio certo depende do custo de cada tipo de erro.

A pontuação F1 é a média harmônica da precisão e da revocação. Ela favorece modelos que mantêm ambas razoavelmente altas.

Um classificador produz uma probabilidade; o limiar decide entre positivo e negativo. Deslocá-lo altera o equilíbrio entre precisão e revocação.

A curva ROC representa a taxa de verdadeiros positivos em relação à taxa de falsos positivos para cada limiar, mostrando todo o equilíbrio de uma só vez.

ROC-AUC é a área sob essa curva. Ela captura a qualidade da ordenação com um único número, independente de limiar, entre zero e um.

Uma AUC de 0,5 corresponde a palpites aleatórios, enquanto 1,0 representa separação perfeita. Um valor maior significa que o modelo ordena bem os positivos acima dos negativos.

Escolha sua métrica de acordo com a tarefa: revocação para triagem de doenças, precisão para filtros de spam e AUC para qualidade da ordenação.

Vá além da precisão com precision, revocação, F1 e ROC-AUC. Cada métrica responde a uma pergunta diferente, então associe a métrica ao seu objetivo. 🎯