จากการเติมข้อความอัตโนมัติสู่ ChatGPT

ก่อนจะมี ChatGPT คอมพิวเตอร์จะเดาคำถัดไปโดยนับว่าคำใดมักตามหลังคำอื่น ซึ่งเรียกว่า แบบจำลองเอ็นแกรม วิธีนี้รวดเร็ว แต่ไม่ได้เข้าใจจริง

ถัดมาคือ เครือข่ายประสาทแบบเกิดซ้ำ ซึ่งอ่านข้อความทีละคำและเก็บความจำเกี่ยวกับสิ่งที่อ่านมาก่อนหน้านั้น ฉลาดกว่าการนับคำ แต่ทำงานช้าและลืมบริบทเมื่ออ่านข้อความยาว

ในปี 2017 ทรานส์ฟอร์เมอร์ของ Google ทำให้แบบจำลองมองทุกคำได้พร้อมกัน แทนที่จะอ่านทีละคำ ความก้าวหน้านี้ทำให้การฝึกขนาดใหญ่และรวดเร็วเป็นไปได้ และเป็นพื้นฐานของ LLM แทบทุกระบบในปัจจุบัน 🚀

แบบจำลอง GPT ของ OpenAI เติบโตขึ้นเรื่อย ๆ โดย GPT-3 มีพารามิเตอร์ถึง 175 พันล้านตัว เมื่อมีขนาดใหญ่ระดับนั้น ก็เกิด ความสามารถที่เกิดขึ้นใหม่ อย่างน่าประหลาดใจ เช่น การทำคณิตศาสตร์ที่ไม่เคยได้รับการสอนโดยตรง

GPT-3 แบบดิบมักไม่ทำตามที่สั่งหรือพูดวกวน RLHF แก้ปัญหานี้ด้วยการให้มนุษย์ให้คะแนนคำตอบ แล้วสอนแบบจำลองให้ทำตามคำสั่ง และ ChatGPT ก็ถือกำเนิดขึ้น

ความมหัศจรรย์ที่แท้จริงของ ChatGPT คือ ส่วนติดต่อแบบสนทนา ระบบจดจำบทสนทนาได้ คุณจึงเพียงพูดคุยกับระบบ และผู้คนนับล้านก็เริ่มใช้งานได้ทันที 💬

การประมวลผลภาษาธรรมชาติแบบเก่าต้องใช้แบบจำลองใหม่สำหรับแต่ละงาน ส่วน LLM เป็น แบบจำลองสำหรับวัตถุประสงค์ทั่วไป ที่แปล สรุป เขียนโค้ด และสนทนาได้ทั้งหมดจากคำสั่งภาษาธรรมดา

พารามิเตอร์ คือตัวเลขที่แบบจำลองเรียนรู้ระหว่างการฝึก ซึ่งเป็นตัวแทนความรู้ของแบบจำลอง พารามิเตอร์ที่มากขึ้นหมายถึงคำตอบที่ฉลาดขึ้น แต่ก็มีค่าใช้จ่ายในการประมวลผลแต่ละคำขอสูงขึ้น

LLM เรียนรู้ระหว่าง การฝึกล่วงหน้า โดยอ่านข้อความจำนวนมหาศาลและทำนายเพียงคำถัดไป จากงานเดียวนี้ ระบบก็เรียนรู้ไวยากรณ์ ข้อเท็จจริง และการให้เหตุผลได้

หลังจาก ChatGPT การแข่งขันก็เริ่มขึ้น ทั้ง Claude, Gemini, Llama และอื่น ๆ ปัจจุบันคำถามสำคัญไม่ใช่ “AI ทำสิ่งนี้ได้หรือไม่” แต่คือ แบบจำลองใด โดยต้องพิจารณาค่าใช้จ่ายและข้อแลกเปลี่ยนด้วย

การรู้ประวัตินี้ช่วยให้ทำงานได้ดีขึ้น การปฏิเสธคำขอคือกลไกป้องกันจาก RLHF ส่วนคำตอบที่ผิดแต่มั่นใจคือช่องว่างในข้อมูลฝึก การเข้าใจสาเหตุจะช่วยให้คุณสร้างระบบที่ดีขึ้น

สรุป: เอ็นแกรมและเครือข่ายประสาทแบบเกิดซ้ำ เกิดขึ้นก่อนแต่มีข้อจำกัด ส่วน ทรานส์ฟอร์เมอร์ ทำให้แบบจำลองขยายขนาดได้ และ RLHF เปลี่ยน GPT-3 แบบดิบให้เป็น ChatGPT ต่อไป: มาดูกลไกการทำงานจริงของแอตเทนชัน ✨