Precision, recall och F1

När en klass är sällsynt kan noggrannheten se bra ut samtidigt som modellen missar allt som är viktigt. Du behöver mer träffsäkra mått som precision och recall. 🎯

Precision ställer frågan: av alla fall som jag markerade som positiva, hur många var verkligen positiva? Den mäter hur tillförlitligt ett ja faktiskt är.

Hög precision är viktig när falska alarm är kostsamma, till exempel när ett vanligt e-postmeddelande markeras som skräppost. Du vill att varje markering ska vara korrekt.

Recall ställer frågan: av alla verkligt positiva fall, hur många upptäckte jag? Det mäter hur bra modellen är på att inte missa något.

Högt recall är viktigt när missar är farliga, till exempel vid screening för en sjukdom. Att upptäcka varje verkligt fall väger tyngre än några falska alarm.

Precision och recall står vanligtvis i konflikt med varandra. Om du markerar fler fall upptäcker du fler positiva fall, men får också fler falska alarm. Det är en avvägning.

F1-värdet kombinerar precision och recall till ett enda tal med hjälp av deras harmoniska medelvärde och belönar modeller som balanserar båda väl.

F1 använder ett harmoniskt medelvärde, så ett lågt värde på någon av sidorna drar ned resultatet. Du kan inte kringgå det genom att vara perfekt på bara ett mått.

Du behöver inte beräkna dessa för hand. classification report skriver ut precision, recall och F1 för alla klasser samtidigt.

Låt problemet avgöra. Optimera recall när missar är kostsamma, precision när falska alarm är kostsamma och F1 när du behöver en balans.

Med många klasser behöver du välja hur du ska beräkna medelvärdet. Macro behandlar klasserna lika, medan weighted tar hänsyn till klassernas storlek. Valet förändrar tolkningen.

Precision gör dina ja-svar tillförlitliga, recall fångar de positiva fallen och F1 balanserar båda. Låt kostnaden för varje misstag styra ditt val. 🎯