Nucleus sampling con top-p

Il campionamento top-p (chiamato anche nucleus sampling) è una tecnica che limita il campionamento a un sottoinsieme dinamico del vocabolario. Invece di campionare da tutti i token, il modello considera solo l'insieme più piccolo di token la cui probabilità cumulativa è almeno pari a p.

Proposto nell'articolo 'The Curious Case of Neural Text Degeneration' (Holtzman et al., 2019), offre risultati migliori del semplice ridimensionamento della temperatura per la generazione di contenuti vari e coerenti.

Algoritmo:

1. Calcolare le probabilità della softmax sull'intero vocabolario
2. Ordinare i token in base alla probabilità, dalla più alta alla più bassa
3. Scorrere l'elenco ordinato, accumulando le probabilità, finché la somma cumulativa non raggiunge p
4. Questo insieme di token costituisce il nucleo
5. Campionare solo dal nucleo, rinormalizzando le probabilità affinché la loro somma sia 1

L'intuizione chiave di top-p è che la dimensione del nucleo è dinamica. Quando il modello è molto sicuro (un token domina con una probabilità di 0.95), il nucleo contiene un solo token. Quando il modello è incerto (molti token hanno probabilità simili), il nucleo si espande includendo più token.

In questo modo il metodo si adatta automaticamente al livello di sicurezza del modello: alta sicurezza → vocabolario ridotto → output mirato. Bassa sicurezza → vocabolario più ampio → maggiore esplorazione.

Imposti top_p nella chiamata API. L'intervallo valido è 0.0–1.0. Il valore predefinito è 1.0 (vocabolario completo, senza restrizioni del nucleo).

OpenAI consiglia di lasciare temperature a 1.0 se modifica top_p, e viceversa. Modificare entrambi contemporaneamente rende difficile prevedere il comportamento effettivo del campionamento.

Quando top_p=1.0, il nucleo include tutti i token, cioè l'intero vocabolario. Ciò equivale al puro campionamento con temperatura, senza restrizioni top-p. Ogni token, per quanto improbabile, ha una probabilità diversa da zero di essere selezionato.

Utilizzi p=1.0 quando desidera la massima diversità. Con p=1.0, solo la temperatura controlla la forma della distribuzione.

Entrambi i parametri controllano la diversità dell'output, ma in modo diverso:

• La temperatura modifica l'intera distribuzione — cambia la probabilità relativa di un token rispetto a tutti gli altri
• Top-p tronca la distribuzione — un token viene semplicemente escluso se si trova al di fuori del nucleo, indipendentemente dalla sua probabilità relativa

Top-p previene il problema del «campionamento dalla coda»: con una temperatura elevata, token estremamente improbabili (testo senza senso, parole fuori contesto) vengono occasionalmente campionati. Top-p elimina completamente questi token dal processo di selezione.

Quando si combinano entrambi i parametri, la temperatura viene applicata per prima (modificando la distribuzione), quindi top-p viene applicato alle probabilità risultanti (restringendole al nucleo).

Configurazioni comuni per la produzione:

• Scrittura creativa: temp=1.0, top_p=0.95
• Chat: temp=0.8, top_p=0.9
• Codice: temp=0.2, top_p=1.0 (top-p non è restrittivo con una temperatura bassa)

Valori bassi di top-p possono causare ripetizioni. Quando il nucleo è molto piccolo, ad esempio p=0.5, il modello campiona ripetutamente da un insieme minimo di token. L'output diventa ripetitivo e prevedibile, l'opposto dell'effetto creativo desiderato.

Consideri la ripetizione come un segnale che top-p è impostato su un valore troppo basso per l'attività. Un controllo utile: se il modello ripete ciclicamente le stesse frasi, aumenti top-p o la temperatura.

Top-p e top-k troncano entrambi il vocabolario prima del campionamento, ma in modo diverso:

• Top-p: dimensione dinamica del nucleo — si espande quando il modello è incerto e si riduce quando è sicuro
• Top-k: dimensione fissa del nucleo — considera sempre esattamente k token, indipendentemente dal livello di sicurezza

In genere si preferisce top-p perché si adatta al livello di sicurezza del modello. Top-k viene trattato in dettaglio nella prossima lezione.

Valori predefiniti dell'API: top_p = 1.0 (nessuna restrizione del nucleo). Quando è opportuno modificarlo?

• Riduca top_p (0.7–0.9): quando gli output sembrano incoerenti o contengono parole prive di senso — è presente un eccessivo campionamento dalla coda
• Lo lasci a 1.0: quando la temperatura è già bassa — con una temperatura bassa la distribuzione è già concentrata e top-p non è comunque restrittivo
• Non lo riduca al di sotto di 0.5: ciò causa ripetizioni e perdita di diversità

Anche l'API Claude di Anthropic espone top_p come parametro. Il comportamento è identico: il modello costruisce un nucleo costituito dall'insieme più piccolo di token la cui probabilità cumulativa raggiunge la soglia p, quindi campiona da quel nucleo.

Lo combini con la temperatura per un controllo preciso: utilizzi la temperatura per modificare la forma della distribuzione e top_p per limitare i token che possono essere selezionati da quella distribuzione.

Qual è il principale vantaggio del campionamento top-p (nucleus) rispetto al campionamento top-k?

Il campionamento top-p costruisce un nucleo dinamico, cioè l'insieme più piccolo di token che copre almeno p della probabilità totale:

• p=1.0: vocabolario completo, nessuna restrizione
• p=0.9: il 90% superiore della massa di probabilità — impostazione creativa tipica
• p=0.5: molto mirato — rischio di ripetizioni

Il nucleo si espande quando il modello è incerto e si restringe quando è sicuro. Ciò impedisce il campionamento dalla coda (testo senza senso generato da token improbabili), preservando al contempo la diversità. Prossima lezione: campionamento top-k e differenze rispetto a top-p.