Samplingで可能になること

通常はモデルがツールを呼び出します。サンプリングではその向きが逆になり、サーバーがモデルにテキストの生成を依頼します。🔄

サンプリングを使うと、サーバーはAPIキーを保持せずにホストのLLMを利用できます。モデルへのアクセスはクライアントが管理します。

補完処理をクライアントが実行するため、サーバーにはプロバイダーの認証情報が不要です。その結果、秘密情報をコードから完全に排除できます。

サンプリングを使うと、ツールの内部でLLMを呼び出せます。ツールはデータを返すだけでなく、タスクの途中でモデルに考えさせることができます。

レポートを取得してから、モデルに要約を依頼するツールを考えてみましょう。要約はサンプリングを通じて実行されます。

モデルを選び、その料金を支払うのはクライアントです。そのため、ホストがコストや制限、リクエストに使うモデルを決めます。

サンプリングは、サーバーが「私にはデータがあり、あなたには頭脳がある」と伝えるようなものです。サーバーは推論の手順をモデルに委任します。

サンプリングリクエストではモデルにテキストを求められます。また、クライアントによってはメッセージに画像や音声のコンテンツを含めることもできます。

サンプリングは、起動時にクライアントがサンプリング機能を宣言した場合にのみ動作します。すべてのホストがこの機能を有効にしているわけではありません。

サンプリングによって、スマートで自己完結したサーバーを実現できます。ユーザー自身のモデルを使って、データツールが推論や分類、文章作成を行えるようになります。

サーバーがモデル呼び出しを開始できるため、それを承認できる人間が必要です。この安全対策の流れは、すぐに説明します。

サンプリングでは主導権が逆転し、サーバーがホストのモデルに推論を依頼します。キーは不要で、オプトイン方式であり、常に人間が承認できます。✅