Por que a acurácia engana em dados desbalanceados

A acurácia parece a medida óbvia: quantas previsões você acertou. Em dados equilibrados, ela funciona bem, mas o desbalanceamento a invalida silenciosamente.

Um conjunto de dados é desbalanceado quando uma classe é muito mais rara que as outras. Pense em fraude, doença ou cancelamento: o evento interessante é o raro.

Imagine 99 transações normais para cada fraude. Um modelo que sempre grita “normal” obtém gloriosos 99% de acurácia. ⚠️

Esse modelo com 99% nunca sinalizou uma única fraude. O número parece excelente, mas o modelo é inútil para exatamente a tarefa para a qual foi criado.

A acurácia calcula a média de todas as linhas, então a enorme maioria abafa a minoria pequena. A classe rara pode ser um fracasso total e quase não alterar a pontuação.

Sempre compare com a linha de base da classe majoritária: basta prever o rótulo mais comum. Se o seu modelo não consegue superá-la, ele não aprendeu nada útil.

Antes de comemorar, pergunte uma coisa: qual fração das linhas pertence à classe majoritária? Esse número é a acurácia que um modelo preguiçoso obtém de graça.

Uma linha revela o quanto seus rótulos estão desequilibrados. Se um valor for muito maior que os demais, a acurácia sozinha irá induzi-lo ao erro.

Não detectar a classe rara geralmente é o que mais prejudica: um tumor ou uma fraude não detectados custam caro. A acurácia trata todos os erros como iguais, mas a realidade não.

A solução ainda não é uma métrica mágica, mas uma mudança de mentalidade. Pare de confiar em um único número e comece a perguntar como a classe minoritária realmente se saiu.

Em breve, você conhecerá precisão, revocação e curvas PR criadas para eventos raros. Primeiro, entenda por que a acurácia conquistou sua desconfiança neste caso.

Em situações de desbalanceamento, a acurácia favorece modelos preguiçosos que ignoram a classe rara. Supere a linha de base majoritária e avalie como a classe minoritária realmente se saiu. 🎯