Rischi per modello, dati e supply chain

Un'applicazione basata su LLM è composta da molti elementi di terze parti: modelli di base, fine-tuning, dataset, embedding, plugin e normali dipendenze software. Ogni anello è un punto in cui un attaccante può introdurre una compromissione.

A differenza del software tradizionale, gli artefatti ML sono spesso grandi binari opachi, scaricati da hub pubblici con una provenienza poco documentata. Un file di pesi avvelenato o un dataset contenente una backdoor è difficile da individuare mediante una semplice ispezione.

Proteggere la pipeline significa tracciare e verificare ogni componente, dall'origine alla produzione.

L'avvelenamento dei dati manipola i dati di training o di fine-tuning per corrompere il modello risultante. Un attaccante che riesca a contribuire anche solo con una piccola parte dei campioni di training può modificare il comportamento in modo misurabile.

• Attacchi alla disponibilità: riducono l'accuratezza complessiva.
• Attacchi mirati: causano classificazioni errate specifiche.
• Attacchi con backdoor: inseriscono un trigger nascosto (vedere la scena successiva).

I dati web raccolti tramite scraping e i documenti RAG forniti dagli utenti sono comuni punti di ingresso per l'avvelenamento, perché sono numerosi e sottoposti a verifiche limitate.

Una backdoor è un attacco di avvelenamento che fa comportare normalmente il modello, tranne quando nell'input compare un trigger segreto. Il trigger può essere una frase rara, una sequenza di token o un pattern di watermark.

Esempio: un modello di completamento del codice sottoposto a fine-tuning con dati avvelenati si comporta correttamente finché non compare un commento speciale, dopodiché genera codice non sicuro. Le backdoor sono difficili da individuare perché i benchmark standard risultano puliti.

Difese: utilizzi esclusivamente modelli provenienti da provider affidabili e firmati; esegua scansioni per rilevare trigger e anomalie; esegua il fine-tuning su dati verificati sotto il Suo controllo.

I pesi del modello non sono semplici dati: alcuni formati eseguono codice al momento del caricamento. Il pickle di Python (utilizzato nei vecchi file .bin e .pt di PyTorch) può eseguire codice arbitrario durante la deserializzazione.

Caricare un modello pickle non attendibile equivale a eseguire un programma non attendibile.

• Preferisca safetensors, che memorizza solo tensori e non può eseguire codice.
• Esegua una scansione o utilizzi una sandbox per qualsiasi file pickle che debba caricare.
• Consideri i file dei modelli provenienti da hub pubblici come binari non attendibili.

Stabilisca da dove proviene ogni artefatto e verifichi che non sia stato manomesso.

• Fissi le versioni e le revisioni esatte di modelli e dataset; non utilizzi mai latest.
• Verifichi i checksum o gli hash rispetto a un valore noto e affidabile.
• Preferisca artefatti firmati e verifichi le firme quando il publisher le rende disponibili.
• Mantenga un ML-BOM (distinta dei materiali) che elenchi modelli, dataset e relative fonti.

I modelli possono memorizzare e successivamente rigenerare parti dei dati di training, inclusi segreti, dati personali o testo protetto da copyright. Gli attaccanti utilizzano attacchi di estrazione per indurre il modello a rivelare questi contenuti.

• Rimuova dati personali e segreti dai corpus di training e di fine-tuning.
• Applichi la deduplicazione: la memorizzazione è correlata alla ripetizione dei campioni.
• Valuti l'uso di tecniche di privacy differenziale per i dataset sensibili.
• Testi i modelli con sonde di estrazione prima del rilascio.

Due attacchi alla privacy prendono di mira i modelli distribuiti:

• Inferenza di appartenenza: determinare se un record specifico era presente nel set di training. Questo può costituire di per sé una violazione della privacy (ad esempio, in un dataset medico).
• Inversione del modello: ricostruire input di training rappresentativi a partire dal comportamento del modello o dagli embedding.

Mitighi il rischio limitando l'esposizione dei punteggi di confidenza, aggiungendo la regolarizzazione o la privacy differenziale e limitando l'accesso senza restrizioni ai modelli di alto valore.

I sistemi RAG memorizzano gli embedding dei documenti in un database vettoriale. Anche questi comportano rischi specifici:

• Inversione degli embedding: gli embedding possono rivelare informazioni sufficienti a ricostruire parzialmente il testo sorgente, quindi sono dati sensibili.
• Fuga di dati tra tenant: il recupero senza controllo degli accessi può esporre i documenti di un altro tenant.
• Avvelenamento dell'indice: un documento dannoso aggiunto all'indice può dirottare i recuperi successivi (iniezione indiretta).

Applichi il controllo degli accessi al momento del recupero e verifichi i documenti prima di indicizzarli.

Oltre ai modelli, le applicazioni LLM dipendono dalla consueta catena di approvvigionamento software, oltre che da plugin e connettori che conferiscono al modello nuove funzionalità.

• Un plugin dannoso o compromesso può leggere il contesto ed esfiltrare dati.
• I pacchetti PyPI/npm con nomi simili a quelli legittimi (typosquatting) o dirottati possono introdurre una backdoor nell'applicazione.
• Le dipendenze transitive vulnerabili ampliano la superficie di attacco.

Utilizzi i lockfile, esegua scansioni con strumenti SCA, verifichi le autorizzazioni dei plugin e preferisca fonti verificate e firmate.

Tratti la pipeline ML come qualsiasi altro percorso CI/CD di produzione, applicando controlli rigorosi:

• Isoli gli ambienti di training e di fine-tuning; limiti chi può inviare dati.
• Firmi e verifichi gli artefatti in ogni fase; rifiuti quelli non firmati o non corrispondenti.
• Convalidi i dataset mediante il rilevamento delle anomalie e verifiche della provenienza.
• Monitori continuamente i modelli distribuiti per rilevare drift e comportamenti imprevisti.

Framework come MITRE ATLAS e NIST AI RMF aiutano a strutturare questi controlli.

La sicurezza dei modelli, dei dati e della catena di approvvigionamento riguarda la fiducia e la verifica durante l'intero ciclo di vita:

• Conosca le Sue fonti (provenienza, firme, ML-BOM).
• Consideri potenzialmente ostili i pesi e i dataset finché non sono verificati.
• Protegga la privacy da fughe di dati, inferenza e inversione.
• Metta in sicurezza dipendenze, plugin e vector store.

Il punto meno costoso in cui bloccare un artefatto avvelenato è prima che entri nella pipeline.

Verifichi la Sua comprensione della sicurezza della catena di approvvigionamento dei modelli.

Rischi dei modelli, dei dati e della catena di approvvigionamento:

• La catena di approvvigionamento ML comprende modelli di base, fine-tuning, dataset, embedding, plugin e dipendenze.
• Avvelenamento e backdoor corrompono il training; verifichi e firmi le fonti dei dati.
• Eviti i formati pickle non sicuri; preferisca safetensors per i pesi non attendibili.
• Verifichi la provenienza tramite versioni, checksum, firme e un ML-BOM.
• Protegga la privacy da fughe di dati, inferenza di appartenenza e inversione; metta in sicurezza embedding e vector store.
• Metta sotto controllo dipendenze e plugin; protegga la pipeline dall'inizio alla fine, utilizzando ATLAS e NIST AI RMF come riferimenti.