เหตุใดบริบทยาวจึงขยายขนาดไม่ได้
ต้นทุนเพิ่มขึ้นเป็นเส้นตรง คุณภาพลดลง และปัญหา 'หลงลืมตรงกลาง' ทำให้โมเดลลืมเนื้อหาที่ฝังอยู่ในพรอมต์ยาว ๆ
เหตุใดบริบทยาวจึงขยายขนาดไม่ได้ เป็นบทเรียน AI Agents ฟรีบน CoddyKit นี่คือบทเรียนที่ 2 จากทั้งหมด 4 บทเรียน คุณสามารถอ่านบทเรียนทั้งหมดด้านล่างฟรี — จากนั้นลองปฏิบัติด้วยตัวคุณเองในเบราว์เซอร์พร้อมตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7 บทเรียนนี้เป็นส่วนหนึ่งของเส้นทางการเรียน AI Agents และความก้าวหน้าของคุณจะซิงค์ข้ามเว็บและแอป CoddyKit คอร์ส AI Agents มีบทเรียนทั้งหมด 4 บทเรียน
ใหญ่ขึ้นไม่ได้ดีกว่าเสมอไป
โมเดลสมัยใหม่มีหน้าต่างบริบทขนาดใหญ่มาก — 200k, 1M หรือแม้แต่ 2M โทเค็น คุณอาจอยาก "ใส่ทุกอย่างลงไปเลย" แทนที่จะสร้างหน่วยความจำที่ใช้งานได้จริง
แนวทางนี้ล้มเหลวในระบบใช้งานจริงด้วยเหตุผลสามประการ
เหตุผลที่ 1: ต้นทุน
โทเค็นทุกโทเค็นในการเรียกใช้ทุกครั้งมีค่าใช้จ่าย พรอมป์ต์ระบบขนาด 100k โทเค็นที่มี 1000 รอบสนทนา = ข้อมูลนำเข้า 100M โทเค็น คิดเป็นเงินหลายสิบดอลลาร์ต่อช่วงการใช้งาน
การแคชพรอมป์ต์ช่วยลดค่าใช้จ่ายได้ แต่ไม่สามารถกำจัดค่าใช้จ่ายได้ทั้งหมด
เหตุผลที่ 2: ความหน่วง
การประมวลผลข้อมูลนำเข้า 100k โทเค็นจะเพิ่มระยะเวลาจนถึงโทเค็นแรกอีก 1-3 วินาที สำหรับประสบการณ์ใช้งานแชต คุณควรทำให้ TTFT ต่ำกว่า 500ms
เหตุผลที่ 3: คุณภาพลดลง
โมเดลจะให้ความสนใจกับเนื้อหาตรงกลางพรอมป์ต์ยาว ๆ น้อยลง ซึ่งเป็นปรากฏการณ์ "ข้อมูลหายไปตรงกลาง" ที่ Liu และคณะรายงานไว้ในปี 2023
ข้อมูลช่วงต้นหรือช่วงท้ายจะถูก recall ได้อย่างแม่นยำ ส่วนข้อมูลตรงกลางมักถูกมองข้าม
การทดสอบที่เป็นรูปธรรม
แทรกข้อเท็จจริงที่ไม่ซ้ำกันไว้ในตำแหน่งต่าง ๆ ของเอกสารยาว แล้วขอให้โมเดลค้นคืนข้อเท็จจริงนั้น ความแม่นยำ:
- ต้นเอกสาร: 95%
- ท้ายเอกสาร: 90%
- ตรงกลาง: 50-70%
บริบทยาวสำหรับการประเมิน ไม่ใช่ระบบใช้งานจริง
บริบทยาวมีประโยชน์สำหรับงานที่ทำครั้งเดียว เช่น วิเคราะห์ฐานโค้ดทั้งหมด แต่ไม่เหมาะกับตัวแทนที่ทำงานต่อเนื่องในระบบใช้งานจริง
สำหรับระบบใช้งานจริง ให้ใช้การค้นคืนเพื่อแทรกเฉพาะ 5% ที่เกี่ยวข้องในแต่ละรอบสนทนา
บริบทยาวมีประโยชน์เมื่อใด
- การวิเคราะห์ฐานโค้ดเบื้องต้น
- การถามตอบเกี่ยวกับเอกสารทั้งฉบับในการเรียกใช้ครั้งเดียว
- การเปรียบเทียบเอกสารยาวสองฉบับ
งานที่ทำครั้งเดียวโดยไม่มีการเล่นซ้ำ
บริบทยาวส่งผลเสียเมื่อใด
- แชตบอตที่มีหลายร้อยรอบสนทนา
- ตัวแทนแบบหลายผู้เช่าที่ใช้ร่วมกันระหว่างผู้ใช้
- ทุกกรณีที่ต้นทุนหรือความหน่วงมีความสำคัญ
สถาปัตยกรรมที่เหมาะสม
สำหรับตัวแทนที่ทำงานเป็นเวลานาน:
- รอบสนทนาล่าสุดในพรอมป์ต์ (10-20 รอบล่าสุด)
- รอบสนทนาเก่าถูกสรุปเป็นบทสรุปต่อเนื่อง
- ข้อเท็จจริงถูกแปลงเป็นเวกเตอร์ในหน่วยความจำระยะยาว
- ค้นคืนหน่วยความจำที่เกี่ยวข้องอันดับต้น ๆ จำนวน K รายการในแต่ละรอบสนทนา
แนวทางแบบผสม
ผสานเทคนิคต่าง ๆ เข้าด้วยกัน:
messages = [
{'role': 'system', 'content': PERSONA},
{'role': 'system', 'content': f'Conversation summary so far: {summary}'},
{'role': 'system', 'content': f'Relevant past facts: {retrieved_facts}'},
*last_n_turns,
]ตัวกระตุ้นการบีบอัด
ตัดสินใจว่า WHEN จะ compact:
- ทุก ๆ N รอบสนทนา (ง่าย)
- เมื่อจำนวนโทเค็น > ค่าขีดจำกัด (ดีกว่า)
- เมื่อโมเดลเริ่มลืม (ดีที่สุด แต่ตรวจจับได้ยาก)
ข้อมูลหายไปตรงกลาง
ปรากฏการณ์ "ข้อมูลหายไปตรงกลาง" คืออะไร
ทบทวน
อย่าแก้ปัญหาหน่วยความจำด้วยการใช้บริบทจนเต็มขีดจำกัด ให้ใช้บทสรุปและการค้นคืนเพื่อแสดงเฉพาะสิ่งที่สำคัญในแต่ละรอบสนทนา
คำถามที่พบบ่อย
บทเรียน “เหตุใดบริบทยาวจึงขยายขนาดไม่ได้” ฟรีหรือไม่
ใช่ — ข้อความเต็มของ “เหตุใดบริบทยาวจึงขยายขนาดไม่ได้” ฟรีให้อ่านที่นี่บนเว็บ เพื่อปฏิบัติแบบโต้ตอบ (ตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7) และปลดล็อคส่วนที่เหลือของคอร์ส AI Agents ให้อัปเกรดเป็น CoddyKit PRO คอร์ส AI Agents มีบทเรียนทั้งหมด 4 บทเรียน
คุณจะเรียนรู้อะไรในบทเรียน “เหตุใดบริบทยาวจึงขยายขนาดไม่ได้”
ต้นทุนเพิ่มขึ้นเป็นเส้นตรง คุณภาพลดลง และปัญหา 'หลงลืมตรงกลาง' ทำให้โมเดลลืมเนื้อหาที่ฝังอยู่ในพรอมต์ยาว ๆ คุณปฏิบัติ AI Agents ด้วยโค้ดที่ใช้งานได้จริงที่คุณเรียกใช้โดยตรงในเบราว์เซอร์ และติวเตอร์ AI ตลอด 24/7 ตอบคำถามของคุณขณะที่คุณไปผ่านบทเรียน
คุณต้องมีประสบการณ์ก่อนที่จะเริ่มเรียน AI Agents หรือไม่
ไม่จำเป็นต้องมีประสบการณ์มาก่อน AI Agents บน CoddyKit ออกแบบมาสำหรับผู้เริ่มต้นไปจนถึงผู้เรียนขั้นสูง คุณสามารถเริ่มต้นที่นี่หรือเริ่มจากตัวแรกและเรียนด้วยความเร็วของคุณเอง นี่คือบทเรียนที่ 2 จากทั้งหมด 4 บทเรียน
บทเรียน “เหตุใดบริบทยาวจึงขยายขนาดไม่ได้” ใช้เวลานานแค่ไหน
บทเรียน CoddyKit ส่วนใหญ่ใช้เวลาประมาณ 5–10 นาที แต่ละบทเรียนจึงสั้นและเป็นแบบโต้ตอบ คุณสามารถก้าวหน้าอย่างต่อเนื่องและกลับมาเรียนต่อจากตรงที่เพิ่งหยุดบนเว็บและแอปได้เลย
ฉันเขียนและรันโค้ดในบทเรียน AI Agents นี้ได้ไหม
ได้ บทเรียน AI Agents ทุกบทมีตัวแก้ไขโค้ดในตัว คุณจึงเขียนและรันโค้ดจริงได้เลยในเบราว์เซอร์ และได้รับข้อเสนอแนะจาก AI ในทันที — ไม่ต้องติดตั้งในเครื่องของคุณ
บทเรียนทั้งหมดในหลักสูตรนี้
- หน่วยความจำระยะสั้นในหน้าต่างบริบท
- เหตุใดบริบทยาวจึงขยายขนาดไม่ได้
- การสรุปเนื้อหาในฐานะการบีบอัด
- คลังหน่วยความจำอย่างง่าย (คีย์-ค่า)