OWASP LLM Top 10

La OWASP Top 10 for Large Language Model Applications è un elenco promosso dalla comunità dei rischi per la sicurezza più critici e specifici dei sistemi basati sugli LLM. Rispecchia la nota OWASP Web Top 10, ma affronta le minacce che gli elenchi AppSec classici non includono.

Esiste perché le applicazioni basate sugli LLM introducono una nuova superficie di attacco: flusso di controllo in linguaggio naturale, output non deterministico, catene di fornitura dei modelli e agenti autonomi. L'elenco fornisce ai team di sicurezza un vocabolario condiviso e una checklist per la modellazione delle minacce.

I codici riportati di seguito usano la numerazione LLM01-LLM10 dell'edizione 2025.

LLM01: Iniezione del prompt è costantemente il rischio numero uno. Il testo controllato dall'attaccante sovrascrive le istruzioni dello sviluppatore perché il modello non sa distinguere le istruzioni attendibili dai dati non attendibili.

• Diretta: l'utente inserisce istruzioni sostitutive.
• Indiretta: le istruzioni sono nascoste in pagine web recuperate, file o output degli strumenti.

Mitigazioni: applichi il privilegio minimo agli strumenti, tratti tutti i contenuti recuperati come dati, aggiunga checkpoint umani per le azioni sensibili e interrompa il percorso di esfiltrazione dei dati.

LLM02: Divulgazione di informazioni sensibili riguarda la rivelazione da parte del modello di dati che non dovrebbe divulgare: PII, segreti, dati proprietari usati per l'addestramento o informazioni di un altro tenant.

Le fughe di dati avvengono attraverso dati di addestramento memorizzati, l'inserimento di un contesto troppo ampio o prompt di sistema che contengono credenziali.

• Sanifichi e riduca al minimo i dati inseriti nel contesto.
• Non inserisca mai segreti attivi nei prompt; utilizzi token con ambito limitato e validità breve, trasmessi al di fuori del prompt.
• Applichi filtri all'output e controlli di prevenzione della perdita di dati prima di restituire le risposte.

LLM03: Catena di approvvigionamento riguarda i rischi derivanti da modelli, dataset, plugin e librerie di terze parti. Un modello di base avvelenato, un fine-tuning con backdoor proveniente da un model hub o una dipendenza Python malevola possono compromettere l'intera applicazione.

• Verifichi la provenienza e i checksum dei modelli.
• Blocchi le versioni e verifichi le licenze.
• Analizzi i file di modello serializzati con pickle (pickle può eseguire codice durante il caricamento) e preferisca formati sicuri come safetensors.

LLM04: Avvelenamento dei dati e del modello prende di mira la pipeline di addestramento o di fine-tuning. Un attaccante in grado di influenzare i dati di addestramento può impiantare backdoor (trigger nascosti), introdurre distorsioni negli output o ridurre la qualità.

Le pipeline RAG che acquisiscono documenti inviati dagli utenti rappresentano una superficie di avvelenamento attiva anche dopo la distribuzione.

• Verifichi accuratamente e firmi le fonti dei dati di addestramento.
• Utilizzi il rilevamento delle anomalie sui dataset.
• Isoli e sottoponga a revisione i contenuti forniti dagli utenti prima di indicizzarli.

LLM05: Gestione impropria dell'output si verifica quando i componenti a valle considerano attendibile l'output del modello senza validarlo. Poiché l'output può essere influenzato da un attacco di injection, passarlo senza validazione a una shell, a una query SQL, a un browser o a eval costituisce un percorso diretto verso XSS, SSRF o RCE.

Regola: tratti l'output dell'LLM esattamente come un input utente non attendibile. Lo codifichi, lo convalidi e lo esegua in un sandbox prima che raggiunga qualsiasi interprete.

LLM06: Autonomia eccessiva indica i danni causati dal fatto di fornire al modello troppe funzionalità, troppi permessi o troppa autonomia. Quando il modello può chiamare strumenti, un'iniezione diventa un'azione, non soltanto testo.

• Funzionalità eccessive: strumenti di cui l'applicazione non ha effettivamente bisogno.
• Permessi eccessivi: uno strumento con permessi di scrittura/eliminazione quando è sufficiente la lettura.
• Autonomia eccessiva: azioni ad alto impatto senza approvazione umana.

Applichi il privilegio minimo per ogni strumento e richieda una conferma per le operazioni irreversibili.

LLM07: Esposizione del prompt di sistema sottolinea che i prompt di sistema non sono un archivio sicuro per i segreti. Spesso gli attaccanti possono estrarli e talvolta contengono credenziali, logica aziendale nascosta o regole di filtraggio che facilitano ulteriori attacchi.

• Presuma che il prompt di sistema possa essere recuperato; non inserisca mai segreti o chiavi al suo interno.
• Applichi l'autorizzazione nel backend, invece di confidare nel rispetto di una regola del prompt.
• Consideri compromesso qualsiasi controllo di sicurezza che risieda soltanto nel testo del prompt.

Le voci restanti:

• LLM08 Vulnerabilità di vettori ed embedding: rischi negli embedding RAG, come fughe di dati tra tenant, inversione degli embedding e indicizzazione di documenti avvelenati. Applichi il controllo degli accessi al momento del recupero.
• LLM09 Disinformazione: allucinazioni espresse con sicurezza e affidamento eccessivo. Aggiunga grounding, citazioni e revisione umana per gli output ad alto impatto.
• LLM10 Consumo senza limiti: denial-of-wallet e DoS causati da query costose o fuori controllo. Applichi limiti di frequenza, budget di token, timeout e avvisi sui costi.

La Top 10 è più utile come checklist strutturata durante la revisione progettuale:

• Mappi ogni componente (input, recupero, strumenti, output) ai rischi LLM pertinenti.
• Per ogni rischio, identifichi un controllo concreto e un responsabile.
• Scriva casi d'abuso e li trasformi in test automatizzati.

La combini con framework esistenti come lo standard OWASP Top 10, MITRE ATLAS per le tattiche specifiche del machine learning e il NIST AI Risk Management Framework per la governance.

Nessun singolo controllo copre tutti questi rischi. Li stratifiche:

• Livello di input: validazione, classificazione, limiti di frequenza.
• Livello del modello: strumenti con privilegio minimo, contesto con ambito limitato, modelli di controllo.
• Livello di output: validazione, codifica, DLP, approvazione umana.
• Livello della piattaforma: logging, monitoraggio, verifica della catena di approvvigionamento, controlli dei costi.

Presuma che qualsiasi livello possa fallire e progetti il sistema in modo che un singolo guasto non si trasformi in una violazione.

Verifichi la Sua comprensione delle categorie OWASP per gli LLM.

La OWASP LLM Top 10 in sintesi:

• LLM01 Iniezione del prompt, LLM02 Divulgazione di informazioni sensibili, LLM03 Catena di approvvigionamento, LLM04 Avvelenamento dei dati e del modello, LLM05 Gestione impropria dell'output.
• LLM06 Autonomia eccessiva, LLM07 Esposizione del prompt di sistema, LLM08 Vulnerabilità di vettori ed embedding, LLM09 Disinformazione, LLM10 Consumo senza limiti.
• Tratti l'output del modello e il prompt di sistema come non attendibili e non segreti.
• Utilizzi l'elenco come checklist per la modellazione delle minacce, lo affianchi a MITRE ATLAS e NIST AI RMF e applichi la difesa in profondità ai livelli di input, modello, output e piattaforma.