Modelowanie zagrożeń dla systemów AI

Witamy w temacie modelowania zagrożeń dla AI! Zanim przejdziemy do zagadnień związanych konkretnie z AI, poznajmy podstawy.

Modelowanie zagrożeń to uporządkowany proces identyfikowania potencjalnych zagrożeń bezpieczeństwa, podatności i środków zaradczych w systemie. Pomaga spojrzeć na system z perspektywy atakującego.

• Identyfikowanie zasobów: Co należy chronić? (Dane, modele, konta użytkowników)
• Identyfikowanie zagrożeń: Kto może zaatakować system i w jaki sposób?
• Identyfikowanie podatności: Słabe punkty, które można wykorzystać.
• Identyfikowanie sposobów ograniczania ryzyka: Jak zmniejszyć ryzyko lub je wyeliminować.

Podczas gdy tradycyjne bezpieczeństwo oprogramowania koncentruje się na kodzie i infrastrukturze, AI wprowadza nowe powierzchnie ataku.

Systemy AI są wyjątkowe, ponieważ:

• Opierają się na danych: W dużym stopniu zależą od danych treningowych, które można zmanipulować.
• Są probabilistyczne: Ich decyzje nie zawsze są deterministyczne, przez co trudniej wykrywać anomalie.
• Są „czarną skrzynką”: Złożone modele mogą być nieprzejrzyste i ukrywać podatności.

Te cechy powodują powstawanie konkretnych zagrożeń, które mogą zostać pominięte przez tradycyjne modele bezpieczeństwa.

Wyobraźmy sobie, że AI uczy się na podstawie błędnych informacji. To właśnie zatruwanie danych.

Atak ten polega na wstrzyknięciu złośliwych lub zmanipulowanych danych do zbioru danych treningowych modelu AI. Celem jest zakłócenie procesu uczenia modelu lub wprowadzenie określonych uprzedzeń.

Skutki:

• Model dostarcza nieprawidłowe lub stronnicze predykcje.
• Powstają podatności typu backdoor, w których określone dane wejściowe wywołują pożądane (złośliwe) wyniki.

Na przykład dodanie do danych treningowych filtra wiadomości spamowych oznaczonych jako „nie spam” może obniżyć jego skuteczność.

Omijanie modelu ma miejsce, gdy atakujący tworzy dane wejściowe, które zostały subtelnie zmodyfikowane, ale powodują, że model AI dokonuje błędnej predykcji.

Takie dane są często nazywane przykładami antagonistycznymi. Dla człowieka dane wejściowe wyglądają normalnie, ale AI interpretuje je nieprawidłowo.

Skutki:

• Omijanie systemów bezpieczeństwa (np. rozpoznawania twarzy).
• Błędna klasyfikacja kluczowych danych (np. uznanie łagodnego guza za inny rodzaj zmiany).

Klasycznym przykładem jest znak stop z maleńkimi, niemal niewidocznymi naklejkami, które sprawiają, że samochód autonomiczny rozpoznaje go jako znak „ustąp pierwszeństwa”.

Ataki te są wymierzone w własność intelektualną modelu oraz prywatność jego danych treningowych.

• Inwersja modelu: Atakujący próbuje odtworzyć poufne informacje z danych treningowych modelu, obserwując jego wyniki. Stanowi to zagrożenie dla prywatności.
• Ekstrakcja modelu (kradzież): Atakujący wielokrotnie wysyła zapytania do zastrzeżonego modelu AI, aby poznać jego wewnętrzną logikę, skutecznie tworząc kopię modelu bez bezpośredniego dostępu do niego. Stanowi to zagrożenie kradzieżą własności intelektualnej.

Oba ataki wykorzystują dostęp do predykcji modelu, aby odtworzyć jego wewnętrzne działanie lub dane treningowe na podstawie analizy wstecznej.

Framework modelowania zagrożeń STRIDE (Spoofing, Tampering, Repudiation, Information Disclosure, Denial of Service, Elevation of Privilege) można dostosować do systemów AI.

• Podszywanie się w AI: Atakujący podszywa się pod legalne źródło danych, model AI, a nawet użytkownika korzystającego z AI.
• Manipulowanie w AI: Obejmuje nieautoryzowaną modyfikację danych (np. danych treningowych lub wag modelu) albo samego systemu AI, prowadzącą do zmiany jego działania lub wyników.

Zagrożenia te mają na celu naruszenie integralności i autentyczności systemu AI.

Kontynuując omawianie STRIDE, przyjrzyjmy się rozliczalności i prywatności.

• Zaprzeczanie w AI: Atakujący wykonuje działanie (np. wstrzykuje złośliwe dane), a następnie zaprzecza, że to zrobił, nie pozostawiając możliwych do prześledzenia dowodów. Pokazuje to, jak ważne jest solidne rejestrowanie zdarzeń.
• Ujawnienie informacji w AI: Jest to nieautoryzowane ujawnienie poufnych informacji. W przypadku AI może to oznaczać ujawnienie zastrzeżonej architektury modelu, algorytmów lub prywatnych danych użytych do treningu.

Ochrona danych i zapewnienie rozliczalności mają kluczowe znaczenie dla zaufania i zgodności z przepisami.

Dwie ostatnie kategorie STRIDE koncentrują się na dostępności i kontroli.

• Odmowa usługi (DoS) w AI: Atakujący zalewa usługę AI żądaniami lub wykonuje obliczenia wymagające dużej ilości zasobów, przez co usługa staje się niedostępna dla uprawnionych użytkowników. Wpływa to na niezawodność SaaS.
• Eskalacja uprawnień w AI: Atakujący uzyskuje nieautoryzowany dostęp lub uprawnienia wyższego poziomu w systemie AI, co może pozwolić mu modyfikować modele, uzyskiwać dostęp do poufnych danych albo sterować kluczowymi funkcjami.

Ataki te mogą poważnie zakłócić działanie AI SaaS i naruszyć jego bezpieczeństwo.

Po zidentyfikowaniu zagrożeń należy wdrożyć konkretne zabezpieczenia:

• Walidacja danych: Rygorystycznie sprawdzaj i oczyszczaj wszystkie dane wejściowe oraz treningowe.
• Odporność modelu: Stosuj techniki takie jak trening antagonistyczny, aby modele były mniej podatne na ataki polegające na omijaniu.
• Kontrola dostępu: Wdróż silne uwierzytelnianie i autoryzację dla danych, modeli oraz endpointów usług AI.
• Monitorowanie: Stale monitoruj działanie modeli i logi systemowe pod kątem anomalii.
• Bezpieczne wdrażanie: Stosuj dobre praktyki wdrażania modeli AI w bezpiecznych, odizolowanych środowiskach.

Wielowarstwowe podejście ma kluczowe znaczenie dla zabezpieczenia AI SaaS.

Skuteczne budowanie zabezpieczeń wymaga rozróżniania różnych typów ataków specyficznych dla AI.

Świetnie! Poznali Państwo kluczowe zagadnienia modelowania zagrożeń dla systemów AI.

Dowiedzieli się Państwo, że AI wprowadza wyjątkowe wyzwania związane z bezpieczeństwem, wykraczające poza tradycyjne oprogramowanie. Omówiliśmy konkretne zagrożenia AI, takie jak zatruwanie danych, omijanie modelu oraz inwersja/ekstrakcja modelu.

Zobaczyliśmy również, jak framework STRIDE można dostosować do identyfikowania podatności charakterystycznych dla AI, związanych z podszywaniem się, manipulowaniem, zaprzeczaniem, ujawnieniem informacji, odmową usługi i eskalacją uprawnień.

Proaktywne modelowanie zagrożeń jest niezbędne do tworzenia solidnych i godnych zaufania produktów AI SaaS!