Calibrare i modelli giudice rispetto alle valutazioni umane

Un valutatore LLM non calibrato potrebbe assegnare sistematicamente punteggi più alti o più bassi rispetto alle persone, preferire uno specifico stile di scrittura oppure fallire nei casi limite non previsti dalla griglia di valutazione. Se utilizza un valutatore di questo tipo per prendere decisioni di deployment, si sta affidando a uno strumento viziato. La calibrazione convalida il valutatore rispetto a una ground truth umana e quantifica quanto sia possibile fidarsi dei suoi punteggi prima di utilizzarlo in produzione.

Crei un set di calibrazione composto da 100-500 risposte di esempio che siano state valutate da persone. Punti alla diversità: includa risposte di alta qualità (punteggio 5), di qualità media (punteggio 3) e chiaramente scadenti (punteggio 1). Chieda a 3-5 valutatori umani indipendenti di assegnare un punteggio a ogni esempio, così da misurare l'accordo tra valutatori e calcolare un punteggio di ground truth consensuale tramite la media o la moda.

Prima di considerare i punteggi umani come ground truth, verifichi che i valutatori umani concordino tra loro. Cohen's Kappa misura l'accordo tra due valutatori al netto di quello dovuto al caso: un valore superiore a 0,6 è accettabile, mentre uno superiore a 0,8 è eccellente. Per le scale a 5 punti, calcoli il kappa ponderato (con pesi lineari). Un basso accordo tra valutatori indica che l'attività è definita in modo ambiguo: migliori le linee guida per i valutatori prima di utilizzare i punteggi per calibrare un valutatore.

Esegua il valutatore LLM su ogni esempio del set di calibrazione utilizzando lo stesso prompt previsto per la produzione. Raccolga il punteggio del valutatore per ogni esempio insieme al punteggio consensuale umano. Mantenga allineati i due elenchi, in modo da poterli confrontare elemento per elemento. È questo confronto a coppie che rivela i bias sistematici e le differenze nell'intervallo dei punteggi.

Calcoli la correlazione di Pearson tra i punteggi del valutatore e i punteggi consensuali umani. Questa misura l'accordo lineare: una correlazione pari a 1,0 significa che il valutatore segue perfettamente le classifiche umane. Calcoli anche l'errore assoluto medio (MAE) per comprendere il divario medio tra i punteggi. Una correlazione superiore a 0,7 e un MAE inferiore a 0,8 punti su una scala a 5 punti indicano in genere un valutatore sufficientemente affidabile per l'uso in produzione.

Oltre alla correlazione, cerchi bias sistematici: il valutatore assegna costantemente punteggi troppo alti o troppo bassi? Rappresenti graficamente i punteggi del valutatore rispetto a quelli umani e verifichi se la retta di regressione non passa per l'origine. Se il valutatore assegna in media 4 quando le persone assegnano 3, presenta un bias di inflazione. Corregga questo problema modificando la griglia di valutazione oppure applicando una trasformazione di calibrazione lineare ai punteggi grezzi.

Una volta ottenuta la regressione di calibrazione (pendenza e intercetta), la applichi per trasformare i punteggi grezzi del valutatore in punteggi calibrati, più coerenti con i giudizi umani. Questa correzione lineare è semplice ed efficace. Limiti il punteggio corretto all'intervallo valido (1-5) per impedire che la regressione produca valori fuori intervallo. Conservi sia i punteggi grezzi sia quelli corretti, così da consentire confronti retrospettivi con la crescita dei dati di calibrazione.

Raggruppi gli errori di calibrazione per tipo di domanda, lunghezza della risposta e area tematica, così da individuare fallimenti ricorrenti. Il valutatore potrebbe essere inaffidabile nelle domande tecniche di programmazione ma accurato in quelle fattuali. Potrebbe assegnare punteggi troppo alti alle risposte molto lunghe e troppo bassi alle risposte brevi e concise. Questi schemi guidano miglioramenti mirati della griglia di valutazione o prompt specifici per argomento nei domini in cui la calibrazione è più debole.

La calibrazione non è un'attività da svolgere una sola volta. Quando raccoglie più valutazioni umane e gli aggiornamenti del modello modificano il comportamento del valutatore, ripeta la calibrazione ogni trimestre. Monitori nel tempo le metriche di calibrazione: se la correlazione di Pearson scende al di sotto di 0,7, verifichi se un aggiornamento del modello ha modificato la distribuzione dei punteggi del valutatore. Automatizzi la pipeline di calibrazione, in modo che rieseguirla richieda un solo comando e produca un coefficiente di correzione aggiornato.

Documenti il modello usato come valutatore, la versione del prompt, la dimensione e la data del dataset di calibrazione, le metriche di calibrazione e gli eventuali coefficienti di correzione in un file di configurazione del valutatore sottoposto al controllo versione. In questo modo crea una traccia di audit che consente ai membri futuri del team di capire perché i punteggi hanno quei valori e di distinguere i cambiamenti delle metriche dovuti alla riconfigurazione del valutatore da quelli dovuti a genuine variazioni della qualità.

Un singolo prompt del valutatore che assegna punteggi a più dimensioni contemporaneamente produce spesso punteggi correlati: il valutatore assegna un punteggio alto alla correttezza perché ha assegnato un punteggio alto alla chiarezza, lasciandosi influenzare dalla prima impressione. I prompt specifici per dimensione valutano ogni criterio in modo indipendente, con una chiamata API separata. Questo approccio è più costoso, ma produce punteggi più affidabili e realmente indipendenti. Utilizzi prompt separati per le dimensioni i cui punteggi si prevede varino in modo indipendente.

Verifichi la propria comprensione della calibrazione dei modelli LLM usati come valutatori rispetto alle valutazioni umane.

In questa lezione ha imparato che i dataset di calibrazione con punteggi consensuali umani forniscono la ground truth per misurare l'affidabilità del valutatore; la correlazione di Pearson e il MAE quantificano quanto il valutatore segua i giudizi umani; e la correzione lineare del bias corregge l'assegnazione sistematica di punteggi troppo alti o troppo bassi. Nel prossimo modulo costruiremo una pipeline di valutazione continua integrata con CI/CD.