Che cosa abilita il sampling

Di solito è il modello a chiamare i suoi strumenti. Il sampling inverte questo rapporto: è il suo server a chiedere al modello di generare testo per lui. 🔄

Con il sampling, il server può usare l'LLM dell'host senza possedere una chiave API. L'accesso al modello è gestito dal client.

Poiché è il client a eseguire il completamento, il server non ha bisogno di credenziali del provider. In questo modo i segreti restano completamente fuori dal codice.

Il sampling consente di effettuare una chiamata a un LLM all'interno di uno strumento. Lo strumento può ragionare con il modello durante l'attività, invece di limitarsi a restituire dati.

Immagini uno strumento che recupera un report e poi chiede al modello di riepilogarlo. Il riepilogo avviene tramite sampling.

Il client sceglie il modello e ne sostiene i costi, quindi è l'host a decidere costi, limiti e modello che esegue la richiesta.

Consideri il sampling come se il server dicesse: io ho i dati, lei ha il cervello. Il server delega nuovamente al modello la fase di ragionamento.

Una richiesta di sampling può chiedere al modello del testo; inoltre, i client possono supportare anche contenuti di immagini o audio nei messaggi.

Il sampling funziona solo se il client dichiara la funzionalità di sampling all'avvio. Non tutti gli host la abilitano.

Il sampling consente di creare server intelligenti e autonomi: strumenti per i dati capaci di ragionare, classificare e scrivere, usando il modello dell'utente.

Poiché i server possono avviare chiamate al modello, deve esserci un essere umano in grado di approvarle. Vedrà presto questo flusso di sicurezza.

Il sampling inverte il controllo: il server chiede al modello dell'host di ragionare al suo posto, senza chiavi, con attivazione esplicita e sempre con una persona in grado di approvare. ✅