Kemampuan yang Dibuka Sampling

Biasanya model memanggil alat Anda. Pengambilan sampel membaliknya: server Anda meminta model menghasilkan teks untuknya. 🔄

Dengan pengambilan sampel, server Anda dapat menggunakan LLM milik host tanpa pernah menyimpan kunci API. Klienlah yang memiliki akses ke model.

Karena klien menjalankan penyelesaian, server Anda tidak memerlukan kredensial penyedia. Dengan begitu, rahasia sepenuhnya tidak berada dalam kode Anda.

Pengambilan sampel memungkinkan panggilan LLM terjadi di dalam alat. Alat Anda dapat berpikir menggunakan model di tengah tugas, bukan sekadar mengembalikan data.

Bayangkan sebuah alat yang mengambil laporan, lalu meminta model untuk merangkumnya. Proses perangkuman berlangsung melalui pengambilan sampel.

Klien memilih model dan membayarnya, sehingga host menentukan biaya, batas, dan model yang menjalankan permintaan Anda.

Anggap pengambilan sampel sebagai ucapan server: Saya memiliki data, Anda memiliki otak. Server mendelegasikan kembali langkah penalaran kepada model.

Permintaan pengambilan sampel dapat meminta teks dari model, dan klien mungkin juga mendukung konten gambar atau audio dalam pesan.

Pengambilan sampel hanya berfungsi jika klien menyatakan kemampuan pengambilan sampel saat memulai. Tidak semua host mengaktifkannya.

Pengambilan sampel membuka server cerdas yang mandiri: alat data yang dapat menalar, mengklasifikasikan, dan menulis—dengan dukungan model milik pengguna sendiri.

Karena server dapat memicu panggilan model, harus ada manusia yang dapat menyetujuinya. Anda akan segera melihat alur keamanan tersebut.

Pengambilan sampel membalik kendali: server Anda meminta model milik host untuk berpikir menggantikannya—tanpa kunci, bersifat opt-in, dan selalu dengan manusia yang dapat menyetujui. ✅