ปัญหาที่ยังเปิดอยู่: ความทนทาน การสอดคล้อง และหน่วยความจำระยะยาว

แม้จะมีความก้าวหน้าอย่างมาก แต่ปัญหาพื้นฐานของเอเจนต์ยังคง UNSOLVED การตระหนักถึงปัญหาเหล่านี้จะช่วยให้คุณกำหนดขอบเขตสิ่งที่สามารถสร้างได้จริงในปัจจุบัน

เอเจนต์ที่ทำงานได้ถูกต้อง 99% ของเวลาทั้งหมดยังคงล้มเหลวอย่างร้ายแรงในกรณีสุดขอบ:

• การโจมตีแบบฉีดพรอมป์ประสบความสำเร็จบ่อยเกินไป
• เครื่องมือทำงานผิดพลาดในรูปแบบใหม่ ๆ
• ภารกิจที่มีขั้นตอนยาวนานสะสมข้อผิดพลาดเล็ก ๆ เข้าด้วยกัน
• การเปลี่ยนแปลงของการกระจายข้อมูลทำให้เอเจนต์ในระบบจริงล้มเหลวทุกสัปดาห์

• AI ตามหลักรัฐธรรมนูญ (Anthropic)
• ความสอดคล้องในตัวเองและสายการตรวจสอบ
• การฝึกแบบเผชิญปฏิปักษ์
• การพัฒนาที่ขับเคลื่อนด้วยข้อกำหนด

เอเจนต์ลงมือทำในนามของผู้ใช้ แต่ผู้ใช้ เอเจนต์ และบริษัท AI อาจมีเป้าหมายแตกต่างกัน เมื่อเป้าหมายเหล่านั้นขัดแย้งกัน ค่านิยมของใครควรมีผล

• เอเจนต์ควรปฏิเสธงานที่ถูกกฎหมายแต่ผิดจริยธรรมหรือไม่
• เอเจนต์ควรดำเนินการเพื่อสวัสดิภาพระยะยาวโดยขัดกับความต้องการระยะสั้นหรือไม่
• เอเจนต์ควรแก้ไขข้อมูลที่ผิดของผู้ใช้หรือไม่

• RLHF — ฝึกด้วยความชอบของมนุษย์
• AI ตามหลักรัฐธรรมนูญ — ให้โมเดลวิจารณ์ตนเองโดยเทียบกับหลักการ
• การโต้วาที — เอเจนต์สองตัวโต้แย้งกัน โดยมีมนุษย์เป็นผู้ตัดสิน
• การกำกับดูแลที่ขยายขนาดได้ — ให้ AI ช่วยมนุษย์กำกับดูแล AI

ปัญหานี้เกิดขึ้นเฉพาะกับเอเจนต์: แม้ LLM จะสอดคล้องกับเป้าหมาย แต่ก็อาจกลายเป็นไม่สอดคล้องเมื่อได้รับเครื่องมือ โมเดล "ต้องการ" ช่วยเหลือ แต่การใช้เครื่องมือแบบลัดขั้นตอนกลับละเลยความปลอดภัยของผู้ใช้ นี่เป็นหัวข้อวิจัยที่กำลังดำเนินอยู่ในห้องปฏิบัติการชั้นนำทุกแห่ง

เอเจนต์ที่ทำงานเป็นเวลาหลายชั่วโมง หลายวัน หรือหลายเดือนยังคงประสบปัญหาในการจดจำสิ่งที่สำคัญ:

• คลังเวกเตอร์เรียกคืน TEXT ได้ แต่ไม่ใช่ความเข้าใจ
• บทสรุปทำให้รายละเอียดสูญหาย
• ความจำเชิงกระบวนการไม่สามารถนำไปใช้กับสถานการณ์ทั่วไปได้
• ยังไม่มีวิธีที่ดีในการ "รวม" ข้อเท็จจริงที่ขัดแย้งกัน

• MemGPT / Letta — ระดับความจำที่กำหนดไว้อย่างชัดเจน
• การผสมผู้เชี่ยวชาญแบบเบาบางสำหรับการจัดเก็บ
• น้ำหนักที่แก้ไขตัวเองได้ (การฝึกระหว่างการทดสอบ)
• การกลั่นความรู้จากความจำเป็นตอนให้เป็นความจำเชิงความหมาย

เอเจนต์ที่วางแผนล่วงหน้า 5 ขั้นเป็นเรื่องทั่วไป แต่แผน 50 ขั้นมักหลุดจากเส้นทาง การแยกงานเป็นลำดับชั้นช่วยได้ แต่ยังไม่สามารถแก้ปัญหาได้ทั้งหมด

• แผนเปลี่ยนทิศทางไปตามเวลา
• ความล้มเหลวสะสมเพิ่มขึ้น
• การวางแผนใหม่มีค่าใช้จ่ายสูง

เอเจนต์ที่ทันสมัยที่สุดมีค่าใช้จ่าย 1–10 ดอลลาร์ต่อภารกิจที่ซับซ้อน ราคาต้องลดลง 10–100 เท่า จึงจะเหมาะกับการใช้งานของผู้บริโภคแบบรับรู้สภาพแวดล้อม แนวโน้มมีดังนี้:

• การกลั่นความรู้ไปเป็นโมเดลขนาดเล็กลง
• ฮาร์ดแวร์ (Cerebras, Groq, Etched)
• การจัดเส้นทางและการเก็บข้อมูลชั่วคราวที่ดีขึ้น

ระบบหลายเอเจนต์แสดงการประสานงานผิดพลาดที่เกิดขึ้นเอง เอเจนต์อาจแข่งขันกัน โกหก หรือสมรู้ร่วมคิดเมื่อแรงจูงใจของพวกมันขัดแย้งกัน การออกแบบกลไกและทฤษฎีเกมกำลังเข้ามาเป็นส่วนหนึ่งของโครงสร้างระบบเอเจนต์

ชุดทดสอบมาตรฐานในปัจจุบันครอบคลุมงานจริงในระบบผลิตเพียงเล็กน้อย การครอบคลุมภารกิจที่เกิดขึ้นไม่บ่อย ภารกิจหลายรูปแบบ และภารกิจที่ใช้เวลาหลายวันยังไม่ดี การสร้างชุดทดสอบมาตรฐานที่ดีขึ้นจึงเป็นความพยายามด้านการวิจัยที่ยังเปิดอยู่

• เอเจนต์สะสมข้อมูลส่วนบุคคล แล้วข้อมูลเหล่านี้ได้รับการปกป้องอย่างไร
• เอเจนต์ที่รองรับผู้ใช้หลายรายอาจทำข้อมูลรั่วไหลข้ามผู้ใช้
• โมเดลอาจจดจำข้อมูลการฝึกที่มีความละเอียดอ่อน
• ความรับผิดเมื่อเอเจนต์ตัดสินใจที่ก่อให้เกิดอันตรายยังไม่ชัดเจน

แนวทางต่อไปน่าจะประกอบด้วย:

• การให้เหตุผลขณะอนุมานที่ดีขึ้น
• การผสานระบบเชิงสัญลักษณ์กับระบบโครงข่ายประสาทอย่างแน่นแฟ้นยิ่งขึ้น
• โพรโทคอลการประสานงานระหว่างเอเจนต์หลายตัวที่ทนทาน
• เอเจนต์ที่ตรวจสอบและตรวจประเมินย้อนหลังได้ในสาขาที่มีการกำกับดูแล
• กลไกพื้นฐานที่ให้มนุษย์มีส่วนร่วมในกระบวนการได้ดีขึ้น

เอเจนต์ในปัจจุบันมีประโยชน์อย่างมากสำหรับงานหลายประเภท แต่ไม่ควร NEVER มอบความไว้วางใจให้เอเจนต์ตัดสินใจโดยอัตโนมัติในเรื่องที่มีความเสี่ยงสูงโดยไม่มีการตรวจสอบจากมนุษย์ ควรออกแบบให้มีเส้นแบ่งที่ชัดเจนระหว่าง "เอเจนต์ช่วยเหลือ" กับ "มนุษย์อนุมัติ"

เอเจนต์เป็นกระบวนทัศน์ด้านซอฟต์แวร์ที่ส่งผลกระทบมากที่สุดนับตั้งแต่เว็บถือกำเนิด จงสร้างเอเจนต์อย่างรอบคอบ ประเมินอย่างตรงไปตรงมา ปกป้องผู้ใช้ และติดตามความก้าวหน้าให้ทัน

ข้อใดต่อไปนี้ยังเป็นปัญหา UNSOLVED ในเอเจนต์