การสุ่มตัวอย่างเปิดความสามารถอะไรบ้าง

โดยปกติแล้วโมเดลจะเรียกใช้เครื่องมือของคุณ แต่การสุ่มตัวอย่างจะกลับทิศทางนั้น: เซิร์ฟเวอร์ของคุณขอให้โมเดลสร้างข้อความให้

ด้วยการสุ่มตัวอย่าง เซิร์ฟเวอร์ของคุณสามารถใช้ LLM ของโฮสต์ได้โดยไม่ต้องถือคีย์ API เลย ไคลเอ็นต์เป็นผู้ถือสิทธิ์เข้าถึงโมเดล

เนื่องจากไคลเอ็นต์เป็นผู้เรียกใช้การสร้างข้อความ เซิร์ฟเวอร์ของคุณจึงไม่ต้องมีข้อมูลรับรองของผู้ให้บริการ ทำให้ความลับไม่อยู่ในโค้ดของคุณเลย

การสุ่มตัวอย่างทำให้เกิดการเรียก LLM ซ้อนอยู่ภายในเครื่องมือได้ เครื่องมือของคุณจึงใช้โมเดลคิดระหว่างทำงานได้ ไม่ใช่เพียงส่งข้อมูลกลับ

ลองนึกภาพเครื่องมือที่ดึงรายงานมา แล้วขอให้โมเดลสรุปรายงานนั้น การสรุปเกิดขึ้นผ่านการสุ่มตัวอย่าง

ไคลเอ็นต์เป็นผู้เลือกโมเดลและจ่ายค่าใช้บริการ ดังนั้นโฮสต์จึงเป็นผู้กำหนดค่าใช้จ่าย ขีดจำกัด และโมเดลที่จะประมวลผลคำขอของคุณ

ให้มองการสุ่มตัวอย่างว่าเซิร์ฟเวอร์กำลังบอกว่า: ฉันมีข้อมูล ส่วนคุณมีสมอง เซิร์ฟเวอร์จึงมอบหมายขั้นตอนการใช้เหตุผลกลับไปให้โมเดล

คำขอสุ่มตัวอย่างสามารถขอข้อความจากโมเดลได้ และไคลเอ็นต์อาจรองรับเนื้อหาในข้อความที่เป็นรูปภาพหรือเสียงด้วย

การสุ่มตัวอย่างจะทำงานได้ก็ต่อเมื่อไคลเอ็นต์ประกาศความสามารถด้านการสุ่มตัวอย่างเมื่อเริ่มต้นใช้งาน โฮสต์ทุกแห่งไม่ได้เปิดใช้ความสามารถนี้

การสุ่มตัวอย่างเปิดทางให้เซิร์ฟเวอร์อัจฉริยะที่ทำงานได้ในตัวเอง: เครื่องมือข้อมูลที่สามารถใช้เหตุผล จำแนกประเภท และเขียนเนื้อหา โดยใช้โมเดลของผู้ใช้เอง

เนื่องจากเซิร์ฟเวอร์สามารถกระตุ้นการเรียกโมเดลได้ จึงต้องมีมนุษย์ที่สามารถอนุมัติการเรียกเหล่านั้นได้ คุณจะได้เห็นกระบวนการด้านความปลอดภัยนี้ในอีกสักครู่

ตรวจสอบความเข้าใจอย่างรวดเร็วว่าการสุ่มตัวอย่างทำอะไรได้จริง

การสุ่มตัวอย่างกลับทิศทางการควบคุม: เซิร์ฟเวอร์ของคุณขอให้โมเดลของโฮสต์คิดแทน โดยไม่ใช้คีย์ ต้องเลือกเปิดใช้ และต้องมีมนุษย์ที่สามารถอนุมัติได้เสมอ ✅