Il pattern LLM-as-Judge

La valutazione manuale degli output degli LLM è lenta e costosa. Un team di valutatori umani può analizzare alcune centinaia di output alla settimana, mentre un sistema in produzione ne genera migliaia al giorno. LLM-as-judge utilizza un potente modello linguistico per valutare su larga scala la qualità degli output di altri LLM, consentendo test di regressione automatizzati e un monitoraggio continuo della qualità senza dover assumere un esercito di annotatori.

Nel pattern LLM-as-judge, invia a un modello giudice un prompt di sistema che definisce i criteri di valutazione, la domanda originale, la risposta del modello e, facoltativamente, una risposta di riferimento. Il modello giudice restituisce un punteggio numerico, un'etichetta o una classifica. Questo approccio funziona perché i modelli allo stato dell'arte comprendono sufficientemente concetti di qualità come correttezza, utilità e coerenza.

Un buon prompt per il giudice specifica rubriche esplicite con definizioni dei punteggi, invece di termini vaghi come 'buono' o 'cattivo'. Definisca concretamente che cosa significa un punteggio di 5, 3 o 1 per ogni criterio. Fornisca la domanda, la risposta da valutare e, facoltativamente, una risposta di riferimento. Chieda il ragionamento prima del punteggio (chain-of-thought) per ridurre le valutazioni arbitrarie.

Chiami il modello giudice con il prompt di valutazione. Analizzi la risposta JSON per estrarre i punteggi. Utilizzi sempre output strutturati o la modalità JSON per assicurarsi che il giudice restituisca dati analizzabili. L'utilizzo dello stesso modello sia come sistema sottoposto a test sia come giudice può introdurre distorsioni: preferisca un modello diverso o almeno una configurazione diversa per il giudice.

Esistono due modalità di valutazione con LLM. La valutazione senza riferimento chiede al giudice di valutare la qualità senza una risposta corretta di riferimento, ed è utile quando non esiste una verità di base, come nelle chat a risposta aperta. La valutazione basata su riferimento fornisce una risposta standard e chiede se la risposta del modello corrisponde a essa: è più adatta alle domande fattuali per cui si conosce la risposta corretta. Utilizzi la modalità basata su riferimento quando dispone di un set di test etichettato.

I giudici LLM presentano distorsioni note: preferiscono le risposte più lunghe (distorsione a favore della prolissità), le risposte dal tono sicuro e quelle che corrispondono allo stile dei dati di addestramento. Riduca la distorsione a favore della prolissità penalizzando esplicitamente nella rubrica la lunghezza non necessaria. Riduca la distorsione dell'ordine nei confronti a coppie randomizzando quale risposta viene mostrata per prima e calcolando la media dei punteggi ottenuti con entrambi gli ordini.

Esegua le valutazioni del giudice in parallelo per analizzare rapidamente set di test di grandi dimensioni. Con asyncio e un semaforo può valutare centinaia di output al minuto. Mantenga un budget separato per il limite di richieste delle chiamate al giudice (che consumano anch'esse token) e consideri l'utilizzo di un modello giudice più piccolo ma comunque efficace, come GPT-4o-mini, per i criteri che non richiedono un ragionamento approfondito, riservando GPT-4o ai criteri più importanti.

Dopo aver valutato un set di test, aggreghi i punteggi in statistiche riepilogative: media, mediana e percentuale di risposte con un punteggio superiore a una soglia di qualità, ad esempio correttezza ≥ 4. Confronti questi aggregati tra versioni del modello o varianti del prompt. Una diminuzione superiore al 5% nella percentuale oltre soglia dovrebbe attivare una revisione prima della distribuzione della nuova versione.

Utilizzi LLM-as-judge per confrontare due versioni del sistema, ad esempio prima e dopo una modifica al prompt. Esegua entrambe le versioni sullo stesso insieme di domande di test, valuti tutti gli output e calcoli il tasso di vittoria: la percentuale di casi in cui la versione B ottiene un punteggio superiore alla versione A. Un tasso di vittoria superiore al 55% su oltre 100 campioni è generalmente abbastanza significativo dal punto di vista statistico da giustificare la distribuzione della nuova versione.

Convalidi il giudice confrontando i suoi punteggi con le valutazioni umane su un set di calibrazione composto da 50-200 esempi. Calcoli la correlazione di Pearson tra i punteggi del giudice e quelli umani. Una correlazione superiore a 0.7 indica che il giudice è affidabile. Se la correlazione è bassa, esamini il prompt del giudice per individuare i casi in cui non concorda con gli esseri umani e aggiunga esempi o chiarimenti alla rubrica. Non distribuisca mai un giudice senza averlo calibrato.

LLM-as-judge non è adatto a ogni scenario di valutazione. Lo eviti quando: il criterio richiede competenze di dominio che il modello giudice non possiede, come l'accuratezza di una diagnosi medica o la conformità legale; serve una valutazione difendibile sul piano giuridico, per la quale è necessaria una revisione umana; si valuta un modello più potente del giudice, che non può assegnare in modo affidabile un punteggio a un output che non sarebbe in grado di produrre; oppure il budget di valutazione è troppo limitato per sostenere il costo API aggiuntivo. In questi casi utilizzi la valutazione umana o metriche deterministiche.

Verifichi la propria comprensione del pattern di valutazione LLM-as-judge.

In questa lezione ha appreso che LLM-as-judge utilizza un modello potente per valutare la qualità su larga scala mediante rubriche esplicite; le modalità senza riferimento e basata su riferimento sono adatte a scenari di valutazione diversi; e la calibrazione rispetto alle valutazioni umane convalida l'affidabilità del giudice prima del suo utilizzo in produzione. Nel prossimo argomento implementeremo strategie di valutazione puntuale e a coppie.