Rilevare anomalie con l'errore di ricostruzione

Gli autoencoder sono ottimi per trovare le anomalie: punti dati che non rientrano nello schema normale. L'idea è ingegnosa e sorprendentemente semplice.

Si addestra l'autoencoder esclusivamente su dati normali. Diventa così esperto nel ricostruire i tipi di input che ha visto molte volte.

Per ogni input si misura l'errore di ricostruzione: la distanza tra la ricostruzione e l'originale. Questo singolo numero guida l'intero metodo.

Gli input familiari e normali vengono ricostruiti con un errore basso. Il modello ne ha appreso la struttura, quindi l'output corrisponde da vicino all'input.

Un'anomalia non assomiglia per nulla ai dati di addestramento, quindi il modello la ricostruisce male. Ne risulta un errore di ricostruzione elevato. 🚩

Si imposta una soglia sull'errore. Tutto ciò che la supera viene segnalato come anomalia; ciò che rimane al di sotto viene considerato normale.

Un metodo comune consiste nell'osservare gli errori su un set di validazione pulito e scegliere un percentile alto, ad esempio il 95°, come valore limite.

Non servono mai anomalie etichettate per l'addestramento. Questo approccio è ideale quando gli esempi problematici sono rari o sconosciuti in anticipo.

Questo metodo è alla base del rilevamento delle frodi, dell'individuazione dei difetti in fabbrica e degli avvisi sulle intrusioni di rete: tutti casi in cui la normalità è comune e i problemi sono rari.

Una soglia bassa rileva più anomalie, ma aumenta i falsi allarmi. Una soglia alta riduce gli allarmi, ma può lasciarsi sfuggire problemi reali. La regoli in base al costo degli errori.

Se il comportamento normale cambia nel tempo, i vecchi errori possono trarre in inganno. Occorre riaddestrare o ricalibrare il modello per gestire questo drift e mantenere accurati gli avvisi.

Si addestra il modello sui dati normali, si misura l'errore di ricostruzione di ogni input e si segnala tutto ciò che supera la soglia. Non servono etichette per le anomalie. 🎉