O que a amostragem possibilita

Geralmente, o modelo chama suas ferramentas. A amostragem inverte isso: seu servidor pede ao modelo que gere texto para ele. 🔄

Com a amostragem, seu servidor pode usar o LLM do host sem nunca armazenar uma chave de API. O cliente controla o acesso ao modelo.

Como o cliente executa a conclusão, seu servidor não precisa de credenciais do provedor. Assim, os segredos ficam completamente fora do seu código.

A amostragem permite que uma chamada a um LLM aconteça dentro de uma ferramenta. Sua ferramenta pode raciocinar com o modelo durante a tarefa, em vez de apenas retornar dados.

Imagine uma ferramenta que busca um relatório e depois pede ao modelo para resumi-lo. O resumo é gerado por meio da amostragem.

O cliente escolhe o modelo e paga por ele, portanto o host decide o custo, os limites e qual modelo executará sua solicitação.

Pense na amostragem como o servidor dizendo: eu tenho os dados, você tem o cérebro. Ele delega a etapa de raciocínio de volta ao modelo.

Uma solicitação de amostragem pode pedir texto ao modelo, e os clientes também podem oferecer suporte a conteúdo de imagem ou áudio nas mensagens.

A amostragem só funciona se o cliente declarar a capacidade de amostragem na inicialização. Nem todo host a habilita.

A amostragem permite criar servidores inteligentes e autossuficientes: ferramentas de dados que conseguem raciocinar, classificar e escrever, usando o próprio modelo do usuário.

Como os servidores podem acionar chamadas ao modelo, deve haver um humano capaz de aprová-las. Você verá esse fluxo de segurança em breve.

A amostragem inverte o controle: seu servidor pede ao modelo do host que raciocine por ele — sem chaves, com adesão opcional e sempre com um humano capaz de aprovar. ✅