Qué permite el muestreo

Normalmente, el modelo llama a sus herramientas. Sampling invierte el proceso: su servidor pide al modelo que genere texto para él. 🔄

Con sampling, su servidor puede usar el LLM del host sin tener nunca una clave de API. El cliente controla el acceso al modelo.

Como el cliente ejecuta la finalización, su servidor no necesita provider credentials. Así mantiene los secretos completamente fuera de su código.

Sampling permite realizar una llamada a un LLM dentro de una herramienta. Su herramienta puede razonar con el modelo durante la tarea, no solo devolver datos.

Imagine una herramienta que obtiene un informe y después pide al modelo que lo summarize. El resumen se genera mediante sampling.

El cliente elige el modelo y paga por él, de modo que el host decide el coste, los límites y qué modelo ejecuta su solicitud.

Considere sampling como si el servidor dijera: «Yo tengo los datos; usted tiene el cerebro». Delega el paso de reasoning en el modelo.

Una solicitud de sampling puede pedirle texto al modelo, y los clientes también pueden admitir contenido de imagen o audio en los mensajes.

Sampling solo funciona si el cliente declara la capacidad de sampling al iniciarse. No todos los hosts la habilitan.

Sampling permite crear servidores inteligentes y autosuficientes: herramientas de datos que pueden reason, clasificar y redactar, impulsadas por el propio modelo de la persona usuaria.

Como los servidores pueden activar llamadas al modelo, debe haber una persona humana que pueda aprobarlas. Pronto verá ese flujo de seguridad.

El muestreo cambia el control: su servidor pide al modelo del host que piense por él — sin claves, con consentimiento explícito y siempre con una persona que pueda aprobarlo. ✅