Calibre a Confiança

Quando um modelo afirma ter 90 por cento de confiança, ele deve estar correto em 90 por cento dessas vezes. A calibração mede se essa promessa é cumprida.

As redes profundas modernas geralmente produzem probabilidades que são altas demais. Elas parecem certas mesmo quando estão erradas com frequência.

Na medicina ou nas finanças, as decisões dependem do número, não apenas do rótulo. Uma probabilidade confiável é tão vital quanto a previsão.

Trace a confiança prevista em relação à precisão real em intervalos. Um modelo perfeitamente calibrado traça a linha diagonal.

O ECE soma, em um único número, a diferença entre a confiança e a precisão nos intervalos. Um valor menor significa probabilidades mais bem alinhadas.

Uma saída de softmax com aparência confiante não é uma garantia. As pontuações brutas precisam de uma etapa de correção para significarem o que afirmam.

A correção mais simples divide os logits por uma temperatura aprendida antes do softmax, suavizando as pontuações excessivamente confiantes.

Você ajusta a única temperatura usando um conjunto de validação separado, sem alterar os pesos nem a precisão do modelo.

O escalonamento por temperatura apenas redimensiona a confiança; ele nunca altera a classe vencedora, portanto, sua precisão é preservada.

Além da temperatura, o escalonamento de Platt e a regressão isotônica também podem mapear pontuações brutas para probabilidades honestas.

Verifique sempre a calibração antes de agir com base nas probabilidades. Um modelo bem calibrado permite definir limiares com confiança. ✅

Uma boa calibração significa que a confiança corresponde à precisão. Verifique-a com diagramas de confiabilidade e ECE e, depois, corrija-a com o escalonamento por temperatura. 🎯