Suddividere le metriche per segmento e coorte

Un modello con un'accuratezza complessiva del 95% può comunque funzionare molto male per un gruppo. La media nasconde aree con prestazioni scarse. 🕵️

Una slice è un sottoinsieme dei dati che condivide una caratteristica: una regione, un tipo di dispositivo, una fascia d'età o una categoria di prodotto.

Un segmento raggruppa i dati in base al valore di una feature, ad esempio il Paese. Una coorte raggruppa invece gli utenti in base a un evento condiviso nel tempo, come gli utenti che si sono registrati lo scorso marzo.

Anziché calcolare un unico valore di accuratezza, calcolare la metrica per slice e confrontare i risultati. Un groupby di pandas consente di farlo rapidamente.

Quando una slice ottiene un punteggio molto inferiore alle altre, è stata individuata una area debole che la metrica principale nascondeva silenziosamente.

Una slice con pochissimi campioni produce una metrica rumorosa. Impostare una dimensione minima prima di considerare attendibile il suo valore.

Il confronto tra slice appartenenti a gruppi sensibili fa emergere divari di equità, ad esempio quando un gruppo demografico riceve sistematicamente predizioni peggiori.

Il drift può colpire prima una sola slice. Monitorare il drift per segmento permette di rilevare un cambiamento negli utenti mobili prima che si diffonda ovunque.

Controllare manualmente le slice non è scalabile. Gli strumenti di ricerca delle slice analizzano molti sottoinsiemi e segnalano automaticamente quelli con le prestazioni peggiori.

Seguire una coorte per diverse settimane mostra se il modello peggiora per gli utenti più recenti, quando il loro comportamento si discosta da quello degli utenti precedenti.

Una slice problematica suggerisce una soluzione: raccogliere più dati, aggiungere una feature o addestrare un modello specifico per il segmento.

Suddividere le metriche per segmento e coorte consente di trovare aree deboli nascoste, divari di equità e primi segnali di drift che la media maschererebbe. ✅