AI Prompt Engineering · บทเรียน

หน้าต่างบริบทระดับล้านโทเค็น

โอกาสและข้อควรระวัง

หน้าต่างบริบทระดับล้านโทเค็น เป็นบทเรียน AI Prompt Engineering ฟรีบน CoddyKit นี่คือบทเรียนที่ 1 จากทั้งหมด 4 บทเรียน คุณสามารถอ่านบทเรียนทั้งหมดด้านล่างฟรี — จากนั้นลองปฏิบัติด้วยตัวคุณเองในเบราว์เซอร์พร้อมตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7 บทเรียนนี้เป็นส่วนหนึ่งของเส้นทางการเรียน AI Prompt Engineering และความก้าวหน้าของคุณจะซิงค์ข้ามเว็บและแอป CoddyKit คอร์ส AI Prompt Engineering มีบทเรียนทั้งหมด 4 บทเรียน

สิ่งที่โทเค็นหนึ่งล้านหน่วยมอบให้

หน้าต่างบริบทขนาดหนึ่งล้านโทเค็นช่วยให้คุณวางทั้งฐานโค้ด คลังเอกสาร หรือบทถอดเสียงหลายชั่วโมงลงในบริบทได้โดยตรง — ไม่ต้องใช้ระบบค้นคืน คำมั่นสัญญาคือ ทุกสิ่งในบริบท: โมเดลให้เหตุผลกับวัตถุดิบดิบแทนสรุปที่สูญเสียรายละเอียด

การให้เหตุผลและการปรับโครงสร้างทั้งคลัง
การสังเคราะห์ข้ามเอกสารโดยไม่แบ่งเป็นส่วน
การสนทนาระยะยาวที่คงรายละเอียดช่วงต้นไว้

แต่ความจุไม่เท่ากับการใช้ได้อย่างมีประสิทธิภาพ

ความจุเทียบกับบริบทที่ใช้ได้จริง

หน้าต่างที่โฆษณาไว้เป็นขอบเขตสูงสุด ไม่ใช่การรับประกันว่าจะเรียกคืนได้สม่ำเสมอ บริบทที่ใช้ได้จริง — ช่วงที่โมเดลเรียกคืนและให้เหตุผลได้อย่างน่าเชื่อถือ — มักมีขนาดเล็กกว่าและไม่สม่ำเสมอตามตำแหน่งต่าง ๆ

มองหน้าต่างเป็นงบประมาณที่คุณค่าของโทเค็นไม่เท่ากัน: โทเค็นใกล้ขอบมักถูกเรียกคืนได้ดีกว่าโทเค็นที่ฝังอยู่ตรงกลาง

ความเป็นจริงของเวลาแฝงและต้นทุน

ต้นทุนการใส่ใจเพิ่มตามความยาวบริบท และเวลาไปจนถึงโทเค็นแรกก็เพิ่มขึ้นด้วย พรอมต์ขนาดหนึ่งล้านโทเค็นอาจทำให้เกิดเวลาแฝงในการเติมบริบทล่วงหน้าหลายวินาทีและมีต้นทุนต่อการเรียกใช้สูง แม้คำตอบจะสั้น

การเติมบริบทล่วงหน้าเป็นปัจจัยหลักของเวลาแฝงสำหรับพรอมต์ขนาดใหญ่
ต้นทุนเพิ่มตามจำนวนโทเค็นอินพุตโดยไม่ขึ้นกับขนาดผลลัพธ์
การยัดบริบทที่ไม่จำเป็นคือการจ่ายเงินเพื่อทำให้โมเดลสับสน

# Rough mental model: input tokens drive both $ and prefill ms.
# 900k tokens of haystack to answer one question is rarely optimal.

สิ่งรบกวนและการเจือจาง

บริบทที่มากขึ้นอาจ ทำให้ความแม่นยำลดลง เนื้อหาที่ไม่เกี่ยวข้องทำให้ความสนใจเจือจางและนำสิ่งรบกวนเข้ามา ซึ่งโมเดลอาจยึดติดไว้ พรอมต์ขนาด 20k โทเค็นที่มุ่งประเด็นมักให้ผลดีกว่าพรอมต์ขนาด 500k โทเค็นที่เต็มไปด้วยเสียงรบกวนสำหรับคำถามเฉพาะเรื่อง

กฎคือ ให้ใส่สิ่งที่ช่วยงาน และตัดสิ่งที่เพียงอาจเกี่ยวข้องออก

เมื่อบริบทยาวชนะการค้นคืน

บริบทยาวให้ผลดีกว่าเมื่อภารกิจต้องการ การให้เหตุผลโดยรวมที่เชื่อมโยงข้ามส่วน ซึ่งการค้นคืนอาจทำให้แตกออกจากกัน เช่น 'ค้นหาทุกจุดที่ค่าคงที่นี้ถูกละเมิดทั่วทั้งคลัง' หรือ 'ประสานข้อขัดแย้งในสัญญาทั้งสิบฉบับ' การค้นคืนแบบแบ่งส่วนอาจพลาดความเชื่อมโยงที่คร่อมหลายส่วน

ใช้บริบททั้งหมดสำหรับการสังเคราะห์ และใช้การค้นคืนสำหรับการค้นหาจุดเฉพาะในคลังขนาดมหึมา

เมื่อการค้นคืนชนะบริบทยาว

การค้นคืนให้ผลดีกว่าเมื่อส่วนที่เกี่ยวข้องมีขนาดเล็กมากและคงที่ การดึงหน้าเว็บที่เกี่ยวข้อง 5 หน้าจากทั้งหมด 50,000 หน้าถูกกว่า เร็วกว่า และมักแม่นยำกว่าการยัดทั้ง 50,000 หน้าเข้าไปแล้วหวังว่าโมเดลจะหาเจอ

การค้นหาบ่อยครั้งในคลังคงที่ -> ทำดัชนีครั้งเดียว แล้วค้นคืนด้วยต้นทุนต่ำ
การสังเคราะห์โดยรวมเพียงครั้งเดียว -> ใช้บริบทยาว

หลายระบบใช้ทั้งสองวิธีร่วมกัน: ค้นคืนเพื่อจำกัดขอบเขต แล้วใช้บริบทยาวเพื่อสังเคราะห์

def route(task):
    if task.is_global_synthesis: return 'long_context'
    if task.relevant_fraction < 0.05: return 'retrieval'
    return 'hybrid'

ตำแหน่งคือทรัพยากร

เนื่องจากการเรียกคืนแตกต่างกันไปตามตำแหน่ง ตำแหน่งที่คุณวางเนื้อหาจึงเป็นการตัดสินใจด้านการออกแบบ วางคำสั่งของงานและเนื้อหาที่สำคัญที่สุดไว้ตรงขอบเขตที่โมเดลเรียกคืนได้ดีที่สุด และหลีกเลี่ยงการฝังข้อเท็จจริงที่ต้องใช้ไว้ลึกตรงกลาง

คุณจัดการตำแหน่งอย่างตั้งใจ ไม่ใช่ปล่อยให้ขึ้นกับลำดับการต่อเนื้อหาโดยบังเอิญ

การตรวจสอบการเรียกคืนจากบริบทยาว

อย่าคิดเอาเองว่าโมเดลใช้ข้อเท็จจริงที่ฝังอยู่ ให้ทดสอบโมเดล แทรกข้อเท็จจริงสัญญาณที่ทราบไว้ในระดับความลึกที่ทราบ แล้วถามหา จากนั้นวัดการเรียกคืนในระดับความลึกต่าง ๆ เพื่อทำความเข้าใจ โมเดลของคุณ บน รูปแบบพรอมต์ของคุณ ก่อนวางใจใช้ในระบบจริง

canary = 'The internal code name is BLUE_HERON.'
# Place at depth d, then ask: 'What is the internal code name?'
# Sweep d across the window to map recall vs position.

การบีบอัดแทนการสะสม

ในเซสชันการทำงานอัตโนมัติระยะยาว อย่าปล่อยให้บริบทขยายโดยไม่มีขอบเขต ให้ บีบอัด เป็นระยะ โดยสรุปช่วงสนทนาที่หมดความสดใหม่เป็นออบเจ็กต์สถานะที่กระชับ แล้วลบประวัติดิบออก วิธีนี้รักษาสาระสำคัญไว้ พร้อมเรียกคืนงบประมาณและลดการเจือจาง

การสะสมเป็นค่าเริ่มต้นและกับดัก ส่วนการบีบอัดคือหลักปฏิบัติ

state = summarize(old_turns)  # dense facts, decisions, open items
context = [system, state] + recent_turns

สถาปัตยกรรมแบบผสม

การออกแบบที่แข็งแกร่งที่สุดผสานหลายกลยุทธ์เข้าด้วยกัน ได้แก่ ค้นคืนชุดตัวเลือกที่มุ่งประเด็น จัดวางด้วยตำแหน่งที่ตั้งใจ เก็บคำนำหน้าที่คงที่ไว้ชั่วคราว และบีบอัดการสนทนา บริบทยาวเป็นเพียงเครื่องมือหนึ่งในชุดเครื่องมือจัดการงบประมาณ ไม่ใช่สิ่งทดแทนงานวิศวกรรม

ค้นคืนเพื่อลดขนาด
จัดตำแหน่งเพื่อเปิดเผย
เก็บไว้ชั่วคราวเพื่อลดต้นทุน
บีบอัดเพื่อให้ใช้งานต่อเนื่อง

หลักเกณฑ์ช่วยตัดสินใจ

ก่อนเลือกใช้หน้าต่างทั้งหมด ให้ถามตัวเองว่า:

งานต้องการการให้เหตุผลโดยรวมหรือการค้นหาจุดเฉพาะ จุดเฉพาะ -> ค้นคืน
ส่วนที่เกี่ยวข้องมีขนาดเล็กและคงที่หรือไม่ ใช่ -> ค้นคืน/เก็บไว้ชั่วคราว
เวลาแฝงและต้นทุนของการเติมบริบทล่วงหน้าขนาดใหญ่ยอมรับได้หรือไม่ ไม่ได้ -> ลดขนาด
คุณได้ตรวจสอบการเรียกคืนที่ระดับความลึกซึ่งคุณกำลังพึ่งพาหรือยัง หากยังไม่ได้ ให้ทดสอบก่อน

ความจุคือสิทธิ์ในการเลือกใช้ ไม่ใช่แผนการ

ตรวจสอบอย่างรวดเร็ว

คุณต้องตอบคำถามเชิงข้อเท็จจริงที่เฉพาะเจาะจงมากหนึ่งคำถาม ซึ่งข้อมูลอยู่ในประมาณ 3 หน้าจากคลังข้อมูลแบบคงที่ 40,000 หน้า และคุณจะเรียกใช้คำค้นนี้หลายพันครั้งต่อวัน

ทบทวน: หน้าต่างระดับล้านโทเค็น

หน้าต่างขนาดใหญ่คือโควตาที่ไม่สม่ำเสมอ ไม่ใช่การเรียกคืนได้โดยไม่มีต้นทุน บริบทที่มีประสิทธิผลมีขนาดเล็กกว่าความจุ เวลาแฝงและต้นทุนเพิ่มขึ้นตามข้อมูลนำเข้า และเนื้อหาที่ไม่เกี่ยวข้องจะทำให้ความแม่นยำลดลง ใช้บริบทยาวสำหรับการสังเคราะห์ภาพรวม ใช้การค้นคืนสำหรับข้อมูลเฉพาะจุด และใช้แนวทางผสมสำหรับกรณีอื่น ๆ โดยวางเนื้อหาสำคัญไว้ในบริเวณที่เรียกคืนได้ดี แคชคำนำหน้าที่คงที่ ย่อเซสชันยาว และทดสอบการเรียกคืนเสมอก่อนจะเชื่อถือข้อเท็จจริงที่ฝังอยู่

คำถามที่พบบ่อย

บทเรียน “หน้าต่างบริบทระดับล้านโทเค็น” ฟรีหรือไม่

ใช่ — ข้อความเต็มของ “หน้าต่างบริบทระดับล้านโทเค็น” ฟรีให้อ่านที่นี่บนเว็บ เพื่อปฏิบัติแบบโต้ตอบ (ตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7) และปลดล็อคส่วนที่เหลือของคอร์ส AI Prompt Engineering ให้อัปเกรดเป็น CoddyKit PRO คอร์ส AI Prompt Engineering มีบทเรียนทั้งหมด 4 บทเรียน

คุณจะเรียนรู้อะไรในบทเรียน “หน้าต่างบริบทระดับล้านโทเค็น”

โอกาสและข้อควรระวัง คุณปฏิบัติ AI Prompt Engineering ด้วยโค้ดที่ใช้งานได้จริงที่คุณเรียกใช้โดยตรงในเบราว์เซอร์ และติวเตอร์ AI ตลอด 24/7 ตอบคำถามของคุณขณะที่คุณไปผ่านบทเรียน

คุณต้องมีประสบการณ์ก่อนที่จะเริ่มเรียน AI Prompt Engineering หรือไม่

ไม่จำเป็นต้องมีประสบการณ์มาก่อน AI Prompt Engineering บน CoddyKit ออกแบบมาสำหรับผู้เริ่มต้นไปจนถึงผู้เรียนขั้นสูง คุณสามารถเริ่มต้นที่นี่หรือเริ่มจากตัวแรกและเรียนด้วยความเร็วของคุณเอง นี่คือบทเรียนที่ 1 จากทั้งหมด 4 บทเรียน

บทเรียน “หน้าต่างบริบทระดับล้านโทเค็น” ใช้เวลานานแค่ไหน

บทเรียน CoddyKit ส่วนใหญ่ใช้เวลาประมาณ 5–10 นาที แต่ละบทเรียนจึงสั้นและเป็นแบบโต้ตอบ คุณสามารถก้าวหน้าอย่างต่อเนื่องและกลับมาเรียนต่อจากตรงที่เพิ่งหยุดบนเว็บและแอปได้เลย

ฉันเขียนและรันโค้ดในบทเรียน AI Prompt Engineering นี้ได้ไหม

ได้ บทเรียน AI Prompt Engineering ทุกบทมีตัวแก้ไขโค้ดในตัว คุณจึงเขียนและรันโค้ดจริงได้เลยในเบราว์เซอร์ และได้รับข้อเสนอแนะจาก AI ในทันที — ไม่ต้องติดตั้งในเครื่องของคุณ

บทเรียนทั้งหมดในหลักสูตรนี้

← กลับไปที่ AI Prompt Engineering