Escolhendo o limiar e a métrica

Os classificadores produzem uma probabilidade e, em seguida, um limiar a transforma em um rótulo. O valor padrão 0,5 raramente é o melhor para classes raras.

Reduzir o limiar sinaliza mais itens como pertencentes à classe rara, detectando mais casos verdadeiros ao custo de mais alarmes falsos.

Para ajustar um ponto de corte, você precisa das pontuações, não apenas dos rótulos. Peça ao modelo a probabilidade prevista da classe positiva.

Decida o que causa mais prejuízo. Deixar passar casos raros significa otimizar a revocação; muitos alarmes falsos significam priorizar a precisão.

Quando você não consegue escolher um lado, a pontuação F1 combina precisão e revocação em um único número que vale a pena maximizar.

Em dados assimétricos, a curva precisão-revocação conta a história real muito melhor do que uma curva ROC.

Experimente vários pontos de corte e observe como a compensação muda. A curva PR mostra todos os pares de precisão e revocação de uma vez.

Depois de escolher um valor, compare cada probabilidade com ele. Acima da linha torna-se a classe positiva; abaixo, a negativa.

O ROC AUC pode parecer excelente em um forte desbalanceamento, mesmo quando a precisão é baixa; portanto, não confie somente nele neste caso.

Escolha seu limiar em um conjunto de validação separado, nunca no conjunto de teste, ou seus números apresentados serão enganosos.

A métrica certa reflete o custo no mundo real. Deixe o objetivo de negócio escolher precisão, revocação ou F1 e ajuste o modelo de acordo. 🎯

Ajuste o limiar com dados de validação, prefira precisão, revocação ou F1 à exatidão e confie na curva PR em dados assimétricos. ✅