샘플링으로 할 수 있는 일

일반적으로는 모델이 여러분의 도구를 호출합니다. 샘플링에서는 반대로 서버가 모델에 텍스트 생성을 요청합니다. 🔄

샘플링을 사용하면 서버가 API 키를 전혀 보유하지 않고도 호스트의 LLM을 사용할 수 있습니다. 모델 접근 권한은 클라이언트가 소유합니다.

완성 작업은 클라이언트가 실행하므로 서버에는 제공자 인증 정보가 필요하지 않습니다. 따라서 비밀 정보가 코드에 전혀 들어가지 않습니다.

샘플링을 사용하면 도구 내부에서 LLM 호출이 중첩되어 실행될 수 있습니다. 도구가 단순히 데이터를 반환하는 대신 작업 중간에 모델을 사용해 생각할 수 있습니다.

보고서를 가져온 다음 모델에 요약을 요청하는 도구를 생각해 보세요. 요약 작업은 샘플링을 통해 수행됩니다.

클라이언트가 모델을 선택하고 비용을 지불하므로, 호스트가 비용과 제한을 결정하고 요청을 실행할 모델을 선택합니다.

샘플링을 서버가 이렇게 말하는 것으로 생각해 보세요. "나에게는 데이터가 있고, 너에게는 두뇌가 있어." 서버가 추론 단계를 모델에 위임하는 것입니다.

샘플링 요청으로 모델에 텍스트를 요청할 수 있으며, 클라이언트에 따라 메시지에 이미지나 오디오 콘텐츠를 포함할 수도 있습니다.

샘플링은 클라이언트가 시작할 때 샘플링 기능을 선언한 경우에만 작동합니다. 모든 호스트가 이를 활성화하는 것은 아닙니다.

샘플링을 사용하면 똑똑하고 독립적으로 작동하는 서버를 만들 수 있습니다. 사용자의 모델을 기반으로 데이터 도구가 추론하고, 분류하고, 글을 작성할 수 있습니다.

서버가 모델 호출을 실행할 수 있으므로 이를 승인할 수 있는 사람이 반드시 있어야 합니다. 이러한 안전 흐름은 곧 살펴보겠습니다.

샘플링이 실제로 무엇을 하는지 직관적으로 확인해 보세요.

샘플링은 제어 방향을 바꿉니다. 서버가 호스트의 모델에 대신 생각해 달라고 요청하며, 키 없이 선택적으로 사용하고 항상 사람이 승인할 수 있습니다. ✅