Wzorce architektury systemów AI

Produkcyjny system AI to znacznie więcej niż plik modelu. Obejmuje potoki danych, magazyny cech, infrastrukturę serwowania oraz monitorowanie. Wzorce architektoniczne to sprawdzone schematy składania tych elementów w niezawodną całość.

Systemy AI często wymagają obu rodzajów przetwarzania:

• Wsadowego — do uzyskiwania dokładnych i kompleksowych wyników dla danych historycznych
• W czasie rzeczywistym — do uzyskiwania aktualnych wyników z małym opóźnieniem dla nowych zdarzeń

Pogodzenie tych dwóch potrzeb jest powtarzającym się wyzwaniem projektowym.

Architektura Lambda rozwiązuje ten problem za pomocą dwóch warstw działających równolegle: warstwy wsadowej, która ponownie oblicza dokładne widoki na podstawie wszystkich danych, oraz warstwy szybkiego przetwarzania, która obsługuje najnowsze dane z małym opóźnieniem. Warstwa serwowania łączy wyniki obu warstw na potrzeby zapytań.

Warstwa wsadowa okresowo przetwarza cały zbiór danych, aby generować wiarygodne i poprawne wyniki, na przykład nocne przeliczanie cech. Jest dokładna, ale charakteryzuje się dużym opóźnieniem, dlatego nie uwzględnia zdarzeń z ostatnich kilku sekund.

Warstwa szybkiego przetwarzania przetwarza dane strumieniowe niemal w czasie rzeczywistym, aby uzupełnić lukę od ostatniego uruchomienia warstwy wsadowej. Poświęca część dokładności na rzecz aktualności, a jej wyniki są ostatecznie zastępowane wynikami kolejnego uruchomienia warstwy wsadowej.

Feature store to centralny system do zarządzania cechami ML. Rozwiązuje on kluczowy problem: trenowanie i serwowanie muszą korzystać z tych samych definicji cech. W przeciwnym razie model otrzymuje na produkcji inne dane wejściowe niż te, na których był trenowany (training-serving skew).

Offline store przechowuje duże ilości historycznych wartości cech, zazwyczaj w postaci plików parquet w jeziorze danych lub hurtowni danych. Obsługuje trenowanie i wsadowe wyznaczanie wyników, w przypadku których przepustowość jest ważniejsza od opóźnienia.

Online store przechowuje najnowsze wartości cech w bazie danych o małym opóźnieniu, takiej jak Redis. Podczas serwowania model pobiera stąd cechy w ciągu milisekund, korzystając z tych samych definicji co offline store.

Feature store gwarantuje, że cecha obliczona na potrzeby trenowania (offline) odpowiada temu, co odczytuje serwowanie (online). Ta spójność eliminuje jedno z głównych źródeł trudnych do wykrycia błędów produkcyjnych i stanowi podstawową wartość feature store.

Zanim nowy model zostanie użyty na produkcji, należy uruchomić go w trybie shadow: otrzymuje rzeczywisty ruch i generuje predykcje, ale predykcje te są rejestrowane, a nie udostępniane użytkownikom. Można porównać je z predykcjami bieżącego modelu bez żadnego ryzyka dla użytkowników.

Gdy tryb shadow wykaże, że nowy model jest dokładny i stabilny dla rzeczywistego ruchu, można go promować, często za pomocą wdrożenia canary. Tryb shadow w połączeniu z wdrożeniem canary zapewnia bezpieczną, etapową drogę od wytrenowanego modelu do pełnego ruchu produkcyjnego.

Proszę sprawdzić swoją wiedzę na temat architektury.

Poznali Państwo wzorce architektury systemów AI:

• Architektura Lambda: warstwa wsadowa (dokładna) oraz warstwa szybkiego przetwarzania (aktualna)
• Feature store: offline store z plikami parquet do trenowania, online store z Redis do serwowania oraz spójne definicje
• Tryb shadow umożliwia sprawdzenie nowego modelu na rzeczywistym ruchu przed jego promocją