Kalibracja pewności

Gdy model mówi 90 procent, powinien mieć rację w 90 procentach takich przypadków. Kalibracja mierzy, czy ta obietnica jest spełniona.

Współczesne głębokie sieci często zwracają prawdopodobieństwa, które są zbyt wysokie. Brzmią pewnie nawet wtedy, gdy często się mylą.

W medycynie lub finansach decyzje zależą od liczby, a nie tylko od etykiety. Wiarygodne prawdopodobieństwo jest równie ważne jak sama predykcja.

Przedstaw przewidywaną pewność względem rzeczywistej dokładności w przedziałach. Idealnie skalibrowany model biegnie wzdłuż przekątnej.

ECE sumuje różnice między pewnością a dokładnością w poszczególnych przedziałach i przedstawia je jako jedną liczbę. Niższa wartość oznacza lepiej dopasowane prawdopodobieństwa.

Wyglądający na pewny wynik funkcji softmax nie jest gwarancją. Surowe wyniki wymagają etapu korekty, aby znaczyły to, co sugerują.

Najprostsza poprawka polega na podzieleniu logitów przez wyuczoną temperaturę przed zastosowaniem softmax, co łagodzi nadmiernie pewne wyniki.

Pojedynczą temperaturę dostraja się na wydzielonym zbiorze walidacyjnym, pozostawiając wagi modelu i jego dokładność bez zmian.

Skalowanie temperaturowe jedynie przeskalowuje pewność; nigdy nie zmienia klasy o najwyższym wyniku, więc dokładność zostaje zachowana.

Oprócz skalowania temperaturowego także skalowanie Platta i regresja izotoniczna mogą przekształcać surowe wyniki w wiarygodne prawdopodobieństwa.

Zawsze sprawdzaj kalibrację, zanim zaczniesz opierać działania na prawdopodobieństwach. Dobrze skalibrowany model pozwala z przekonaniem ustalać progi. ✅

Dobra kalibracja oznacza zgodność pewności z trafnością. Sprawdź ją za pomocą wykresów wiarygodności i ECE, a następnie popraw za pomocą skalowania temperaturowego. 🎯