Cosa sono le guardrail

I guardrail sono controlli programmatici che circondano un LLM per imporre sicurezza, policy e qualità. Vengono eseguiti durante il percorso in ingresso (input dell'utente) e durante il percorso in uscita (output del modello), filtrando ciò che raggiunge il modello e ciò che raggiunge l'utente.

Il modello è probabilistico; i guardrail fanno rispettare in modo deterministico la policy sovrapposta.

Le istruzioni nel system prompt come 'non riveli mai i segreti' sono soft: possono essere aggirate dai jailbreak, indebolirsi in contesti lunghi o venire ignorate in caso di distribution shift. I guardrail sono hard perché sono codice esterno al modello, con cui non si può discutere.

Difesa in profondità: istruisca il modello e lo circondi con controlli indipendenti.

Due posizionamenti con funzioni diverse:

• I guardrail di input bloccano le prompt injection, le richieste non consentite e i dati PII prima che i token generino costi.
• I guardrail di output intercettano contenuti non sicuri, dati divulgati, allucinazioni e violazioni dello schema prima della consegna.

I controlli sull'input riducono i costi; quelli sull'output proteggono gli utenti.

Un guardrail deve decidere quale azione eseguire quando scatta:

• Bloccare — rifiuti e restituisca un messaggio sicuro.
• Oscurare — rimuova la parte incriminata e continui.
• Rigenerare — invii un nuovo prompt indicando la violazione.
• Inoltrare — instradi la richiesta a una persona o a un modello più rigido.

L'azione corretta dipende dalla gravità e dalla fiducia dell'utente.

Componga i guardrail in una pipeline ordinata; interrompa subito l'elaborazione alla prima violazione grave.

Due stili di implementazione:

• Deterministico — regex, schemi, allow-list e deny-list, classificatori con soglie fisse. Veloce, economico, verificabile.
• Basato su modello — un modello di moderazione o un LLM valutatore analizza policy articolate. Flessibile, ma più lento e a sua volta soggetto a errori.

Utilizzi guardrail deterministici per le regole rigide e guardrail basati su modello per i casi che richiedono valutazione.

Ogni guardrail aggiunge latenza. Strategie per mantenere la velocità:

• Esegua in parallelo i controlli indipendenti sull'output.
• Ordini i controlli deterministici economici prima di quelli basati su modelli, più costosi.
• Interrompa l'elaborazione al primo blocco grave.
• Trasmetta l'output in streaming, ma ne sospenda la consegna finché i guardrail critici non hanno dato esito positivo.

I guardrail troppo aggressivi bloccano richieste legittime e frustrano gli utenti (il 'Non posso aiutarLa' per richieste innocue). Regoli le soglie su un set etichettato e monitori il tasso di falsi positivi come metrica di primo livello, non solo il richiamo sugli attacchi.

Se trasmette i token all'utente, una violazione rilevata in ritardo potrebbe essere già sullo schermo. Opzioni:

• Conservi tutto in un buffer, applichi i controlli e poi rilasci (massima sicurezza, latenza maggiore).
• Applichi il controllo ai confini delle frasi durante lo streaming.
• Trasmetta in modo ottimistico, ma ritiri o sostituisca l'output in caso di violazione.

Scelga in base alla gravità di un'eventuale divulgazione parziale.

I guardrail sono elementi probatori ai fini della conformità. Registri ogni verdetto con hash dell'input, ID del guardrail, gravità e azione intrapresa, prestando attenzione a non registrare il contenuto sensibile. Questo registro dimostra l'applicazione delle policy durante gli audit e consente di ottimizzare il sistema.

I guardrail riducono il rischio; non lo eliminano. Un modello che non ha accesso a un segreto non può divulgarlo. Preferisca controlli architetturali (privilegio minimo, strumenti con ambito limitato, nessun dato sensibile nel contesto) e usi i guardrail come ultimo livello, non come unico.

Quale posizionamento di un guardrail riduce principalmente il consumo di token per le richieste non consentite?

Fondamenti dei guardrail:

• Policy deterministica applicata attorno a un modello probabilistico.
• I guardrail in input riducono i costi; quelli in output proteggono gli utenti.
• Azioni: bloccare, oscurare, rigenerare, inoltrare.
• Combini controlli deterministici e basati su modello; li esegua in parallelo.
• Monitori i falsi positivi; registri i verdetti; preferisca l'architettura alle correzioni successive.

Successivamente: filtraggio di input e output in dettaglio.