การเพิ่มประสิทธิภาพค่าใช้จ่ายในการเรียกใช้ LLM

โมเดลภาษาขนาดใหญ่ (LLM) มีพลังมาก แต่การใช้งานมาพร้อมกับค่าใช้จ่าย ค่าใช้จ่ายนี้มักเชื่อมโยงโดยตรงกับปริมาณข้อมูลที่ประมวลผล

การทำความเข้าใจวิธีคิดราคาของ LLM และการใช้เทคนิควิศวกรรมพรอมต์อย่างชาญฉลาดสามารถลดค่าใช้จ่ายในการดำเนินงานของคุณได้อย่างมาก

ผู้ให้บริการ LLM ส่วนใหญ่คิดค่าบริการตามโทเค็น โทเค็นไม่ได้หมายถึงเพียงคำหนึ่งคำเท่านั้น แต่อาจเป็นส่วนหนึ่งของคำ อักขระเดี่ยว หรือแม้แต่ช่องว่าง

• โทเค็นขาเข้า: โทเค็นที่อยู่ในพรอมต์ที่คุณส่งให้ LLM
• โทเค็นขาออก: โทเค็นที่ LLM สร้างขึ้นเป็นคำตอบ

ทั้งโทเค็นขาเข้าและโทเค็นขาออกมีส่วนต่อค่าใช้จ่ายรวมของการเรียกใช้เอพีไอ

ลองคิดแบบนี้: อักขระทุกตัวในพรอมต์ของคุณและอักขระทุกตัวในคำตอบของ LLM จะถูกแปลงเป็นโทเค็น จากนั้นจำนวนโทเค็นทั้งหมดจะถูกคูณด้วยอัตราที่กำหนด

โมเดล LLM และผู้ให้บริการแต่ละรายมีค่าใช้จ่ายต่อโทเค็นแตกต่างกัน โมเดลรุ่นใหม่ที่มีความสามารถมากกว่ามักมีอัตราค่าบริการต่อโทเค็นสูงกว่า

วิธีหนึ่งที่ง่ายที่สุดในการประหยัดค่าใช้จ่ายคือทำให้พรอมต์กระชับที่สุดเท่าที่จะทำได้ คำที่ไม่จำเป็นทุกคำจะเพิ่มจำนวนโทเค็นขาเข้าของคุณ

• ลบคำฟุ่มเฟือย: "โปรดกรุณาสร้างบทสรุปของข้อความต่อไปนี้ให้ฉัน" เปลี่ยนเป็น "สรุปข้อความด้านล่าง"
• คำสั่งโดยตรง: ระบุเป้าหมายของคุณอย่างชัดเจนโดยไม่ต้องใช้ถ้อยคำสุภาพหรือเกริ่นนำมากเกินไป

หากคุณกำลังทำงานกับเอกสารขนาดใหญ่ ให้พิจารณาสรุปหรือดึงข้อมูลสำคัญออกมาก่อนส่งข้อมูลไปยัง LLM คุณไม่จำเป็นต้องส่งข้อมูลดิบทั้งหมดเสมอไป

ตัวอย่างเช่น แทนที่จะส่งบทความความยาว 5,000 คำเพื่อถามคำถามเดียว คุณอาจใช้โมเดลขนาดเล็กที่มีค่าใช้จ่ายถูกกว่า หรือสคริปต์อย่างง่ายเพื่อดึงย่อหน้าที่เกี่ยวข้องออกมาก่อน จากนั้นจึงเขียนพรอมต์ให้ LLM ที่มีขนาดใหญ่กว่าโดยใช้เฉพาะย่อหน้าเหล่านั้น

พรอมต์ที่กำกวมหรือเปิดกว้างอาจนำไปสู่คำตอบที่ยาวและทั่วไปมากขึ้น ทำให้จำนวนโทเค็นขาออกเพิ่มขึ้น ควรระบุสิ่งที่คุณต้องการให้ชัดเจน

แทนที่จะเขียนว่า: "บอกฉันเกี่ยวกับการเปลี่ยนแปลงสภาพภูมิอากาศ"

ลองเขียนว่า: "ระบุสาเหตุทั่วไปสามประการของการเปลี่ยนแปลงสภาพภูมิอากาศในรูปแบบหัวข้อย่อย"

วิธีนี้จะช่วยชี้นำ LLM ให้ตอบได้สั้นลงและตรงประเด็นมากขึ้น

ผู้ให้บริการ LLM มีแบบจำลองหลากหลายรูปแบบ ซึ่งมีความสามารถและระดับราคาต่างกัน การใช้แบบจำลองที่ทรงพลังที่สุดกับทุกงานมักเกินความจำเป็นและมีค่าใช้จ่ายสูง

• ใช้แบบจำลองที่มีขนาดเล็กกว่า ทำงานเร็วกว่า และราคาถูกกว่า สำหรับงานง่าย ๆ เช่น การดึงข้อมูลหรือการเรียบเรียงข้อความใหม่
• เก็บแบบจำลองขนาดใหญ่และมีราคาแพงกว่าไว้สำหรับการให้เหตุผลที่ซับซ้อน การสร้างสรรค์เนื้อหา หรืองานที่ต้องอาศัยความเข้าใจอย่างลึกซึ้ง

เอพีไอของ LLM จำนวนมากอนุญาตให้คุณกำหนดพารามิเตอร์ max_tokens ได้ ซึ่งจะจำกัดความยาวสูงสุดของคำตอบจาก LLM โดยตรง

แม้ว่าคำสั่งของคุณจะสมบูรณ์แบบ แต่ LLM ก็อาจตอบวกวนได้ การกำหนด max_tokens ช่วยให้มั่นใจว่าคุณจะไม่ต้องจ่ายเงินสำหรับผลลัพธ์ที่ยาวเกินไปหรือไม่เกี่ยวข้อง

ลองเปรียบเทียบคำสั่งสองแบบสำหรับเป้าหมายเดียวกัน:

คำสั่งที่มีค่าใช้จ่ายสูง: "สวัสดี ผู้ช่วยปัญญาประดิษฐ์! หวังว่าวันนี้คุณจะสบายดีนะครับ/คะ คุณช่วยกรุณาบอกได้ไหมว่าเมืองหลวงของฝรั่งเศสคืออะไร ผม/ดิฉันจะขอบคุณมากหากคุณอธิบายประวัติศาสตร์และความสำคัญทางวัฒนธรรมของเมืองนี้อย่างละเอียด อาจสักสองสามย่อหน้าก็ได้"

คำสั่งแบบกระชับ: "เมืองหลวงของฝรั่งเศสคืออะไร ตอบเฉพาะชื่อเมืองเท่านั้น"

คำสั่งแบบกระชับช่วยลดทั้งโทเค็นข้อมูลนำเข้าและโทเค็นผลลัพธ์ที่อาจเกิดขึ้นได้อย่างมาก จึงช่วยประหยัดค่าใช้จ่าย

คุณกำลังออกแบบคำสั่งเพื่อดึงหัวข้อหลักจากบทความข่าวยาว ๆ กลยุทธ์ใดมีประสิทธิภาพที่สุดในการลดค่าใช้จ่ายของเอพีไอ LLM

เราได้เรียนรู้กลยุทธ์สำคัญหลายประการเพื่อปรับค่าใช้จ่ายของเอพีไอ LLM ให้เหมาะสม:

• กระชับ: ลบคำที่ไม่จำเป็นออกจากคำสั่ง
• ประมวลผลข้อมูลล่วงหน้า: สรุปหรือกรองข้อมูลนำเข้าขนาดใหญ่ก่อนเขียนคำสั่ง
• ระบุให้เฉพาะเจาะจง: ชี้นำ LLM ให้ตอบสั้นและตรงประเด็น
• เลือกอย่างเหมาะสม: เลือกแบบจำลองให้เหมาะกับความซับซ้อนของงาน
• ควบคุมผลลัพธ์: ใช้พารามิเตอร์ เช่น max_tokens เพื่อจำกัดความยาวของคำตอบ

เมื่อประยุกต์ใช้เทคนิคเหล่านี้ คุณจะทำให้การโต้ตอบกับ LLM ประหยัดและมีประสิทธิภาพมากขึ้นได้