Wykrywanie anomalii na podstawie błędu rekonstrukcji
Oznaczać wartości odstające, których model nie potrafi odtworzyć
Wykrywanie anomalii na podstawie błędu rekonstrukcji to bezpłatna lekcja Deep Learning Academy na CoddyKit. To lekcja 4 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej Deep Learning Academy, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs Deep Learning Academy zawiera 4 lekcji w sumie.
Znajdowanie odstających elementów
Autoenkodery świetnie wykrywają anomalie, czyli punkty danych, które nie pasują do typowego wzorca. Pomysł jest sprytny i zaskakująco prosty.
Trenowanie wyłącznie na danych normalnych
Trenujesz autoenkoder wyłącznie na normalnych danych. Staje się ekspertem w odtwarzaniu rodzajów wejść, które wielokrotnie widział.
Błąd rekonstrukcji jest sygnałem
Dla każdego wejścia mierzysz błąd rekonstrukcji, czyli różnicę między odtworzeniem a oryginałem. Ta jedna liczba napędza całą metodę.
error = ((x - model(x)) ** 2).mean()Dane normalne są dobrze odtwarzane
Znane, normalne wejścia są odtwarzane z małym błędem. Model nauczył się ich struktury, więc wynik jest bardzo podobny do wejścia.
Anomalie są źle odtwarzane
Anomalia nie przypomina danych treningowych, więc model odtwarza ją niepoprawnie. Powoduje to duży błąd rekonstrukcji. 🚩
Wybierz próg
Ustalasz próg dla błędu. Wszystko powyżej niego jest oznaczane jako anomalia, a wszystko poniżej uznawane za normalne.
is_anomaly = error > thresholdWybór progu
Popularna metoda polega na przeanalizowaniu błędów na czystym zbiorze walidacyjnym i wybraniu wysokiego percentyla, na przykład 95., jako wartości granicznej.
threshold = np.percentile(val_errors, 95)Nie są potrzebne etykiety anomalii
Do trenowania nie potrzebujesz oznaczonych anomalii. Dzięki temu podejście świetnie sprawdza się, gdy złe przykłady są z góry rzadkie lub nieznane.
Gdzie metoda sprawdza się najlepiej
Metoda ta zasila wykrywanie oszustw, wykrywanie wad fabrycznych i alerty o włamaniach do sieci — wszędzie tam, gdzie normalne przypadki są częste, a problemy rzadkie.
Zwróć uwagę na kompromis
Niski próg wykrywa więcej anomalii, ale zwiększa liczbę fałszywych alarmów. Wysoki próg oznacza mniej alarmów, lecz może przeoczyć prawdziwe problemy. Dostosuj go do kosztów błędów.
Zwróć uwagę na dryf
Jeśli normalne zachowanie zmienia się z czasem, dawne błędy mogą wprowadzać w błąd. Przeprowadź ponowne trenowanie lub kalibrację, aby obsłużyć ten dryf i zachować trafność alertów.
Szybkie sprawdzenie
Jak autoenkoder oznacza anomalię?
Podsumowanie
Trenuj model na normalnych danych, mierz błąd rekonstrukcji każdego wejścia i oznaczaj wszystko powyżej ustalonego progu. Etykiety anomalii nie są wymagane. 🎉
Często zadawane pytania
Czy lekcja „Wykrywanie anomalii na podstawie błędu rekonstrukcji” jest bezpłatna?
Tak — pełny tekst „Wykrywanie anomalii na podstawie błędu rekonstrukcji” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu Deep Learning Academy, przejdź na CoddyKit PRO. Kurs Deep Learning Academy zawiera 4 lekcji w sumie.
Co nauczysz się w „Wykrywanie anomalii na podstawie błędu rekonstrukcji”?
Oznaczać wartości odstające, których model nie potrafi odtworzyć Ćwiczysz Deep Learning Academy z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.
Czy potrzebuję doświadczenia, aby zacząć Deep Learning Academy?
Nie wymagamy żadnego doświadczenia. Deep Learning Academy w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 4 z 4.
Ile czasu zajmuje lekcja „Wykrywanie anomalii na podstawie błędu rekonstrukcji”?
Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.
Czy mogę pisać i uruchamiać kod w tej lekcji Deep Learning Academy?
Tak. Każda lekcja Deep Learning Academy zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.
Wszystkie lekcje w tym kursie
- Enkoder, wąskie gardło i dekoder
- Autoenkodery odszumiające
- Wariacyjne autoenkodery i przestrzeń latentna
- Wykrywanie anomalii na podstawie błędu rekonstrukcji