Deteksi Anomali berdasarkan Galat Rekonstruksi

Autoencoder sangat baik dalam menemukan anomali: titik data yang tidak sesuai dengan pola normal. Gagasannya cerdas dan ternyata sangat sederhana.

Anda melatih autoencoder hanya dengan data normal. Model ini menjadi ahli dalam membangun ulang jenis input yang sudah sering dilihatnya.

Untuk setiap input, Anda mengukur error rekonstruksi: seberapa jauh hasil pembangunan ulang dari aslinya. Satu angka ini menggerakkan seluruh metode.

Input normal yang sudah dikenal dibangun ulang dengan error rendah. Model telah mempelajari strukturnya, sehingga keluaran sangat mirip dengan input.

Anomali tidak tampak seperti data pelatihan, sehingga model membangunnya ulang dengan buruk. Hal itu menghasilkan error rekonstruksi yang tinggi. 🚩

Anda menetapkan ambang batas pada error. Apa pun yang berada di atasnya ditandai sebagai anomali; yang berada di bawahnya dianggap normal.

Trik yang umum adalah melihat error pada set validasi yang bersih, lalu memilih persentil tinggi, misalnya persentil ke-95, sebagai batas pemisah.

Anda tidak pernah memerlukan anomali berlabel untuk melakukan pelatihan. Hal ini membuat pendekatan ini sempurna ketika contoh buruk jarang atau belum diketahui sebelumnya.

Metode ini mendukung deteksi penipuan, penemuan cacat di pabrik, dan peringatan penyusupan jaringan—di mana pun kondisi normal umum terjadi dan masalah jarang terjadi.

Ambang batas rendah menangkap lebih banyak anomali, tetapi meningkatkan alarm palsu. Ambang batas tinggi membuat sistem lebih tenang, tetapi mungkin melewatkan masalah yang nyata. Sesuaikan dengan biaya yang harus Anda tanggung.

Jika perilaku normal berubah seiring waktu, error lama dapat menyesatkan Anda. Latih ulang atau kalibrasikan kembali model untuk menangani pergeseran ini dan menjaga keakuratan peringatan.

Latih dengan data normal, ukur error rekonstruksi setiap input, dan tandai apa pun yang berada di atas ambang batas Anda. Tidak diperlukan label anomali. 🎉