Dari Pelengkapan Otomatis hingga ChatGPT

Sebelum ChatGPT, komputer menebak kata berikutnya dengan menghitung kata-kata yang biasanya mengikuti kata lain—sebuah model n-gram. Cepat, tetapi tidak benar-benar memahami.

Berikutnya hadir RNN: jaringan ini membaca teks kata demi kata dan menyimpan ingatan tentang hal-hal sebelumnya. Lebih cerdas daripada sekadar menghitung, tetapi lambat dan mudah lupa dalam teks yang panjang.

Pada 2017, Transformer dari Google memungkinkan model melihat semua kata sekaligus, bukan satu per satu. Hal ini memungkinkan pelatihan berskala besar dan cepat—serta menjadi penggerak hampir semua LLM saat ini. 🚀

Model GPT milik OpenAI terus berkembang—GPT-3 mencapai 175 miliar parameter. Pada ukuran tersebut, muncul kemampuan emergen yang mengejutkan, seperti mengerjakan matematika yang tidak pernah diajarkan kepadanya.

GPT-3 mentah sering mengabaikan Anda atau berbicara bertele-tele. RLHF memperbaikinya dengan meminta manusia menilai jawaban, sehingga model belajar mengikuti instruksi—dan ChatGPT pun lahir.

Keajaiban sebenarnya dari ChatGPT adalah antarmuka obrolan. ChatGPT mengingat percakapan, sehingga Anda cukup berbicara dengannya—dan jutaan orang dapat langsung melakukannya. 💬

NLP lama membutuhkan model baru untuk setiap tugas. LLM adalah satu model serbaguna: model ini dapat menerjemahkan, meringkas, menulis kode, dan mengobrol—semuanya berdasarkan instruksi biasa.

Parameter adalah angka yang dipelajari model selama pelatihan—pengetahuan model tersebut. Lebih banyak parameter berarti jawaban yang lebih cerdas, tetapi juga biaya yang lebih besar untuk menjalankan setiap permintaan.

LLM belajar selama prapelatihan: model membaca teks dalam jumlah sangat besar dan hanya memprediksi kata berikutnya. Dari satu tugas tersebut, model mempelajari tata bahasa, fakta, dan penalaran.

Setelah ChatGPT, perlombaan pun dimulai: Claude, Gemini, Llama, dan lainnya. Kini pertanyaan sebenarnya bukan lagi "bisakah AI melakukan ini?", melainkan model yang mana, dengan biaya dan kompromi seperti apa.

Memahami sejarah ini akan sangat membantu. Penolakan adalah pagar pengaman RLHF; jawaban salah yang disampaikan dengan yakin adalah celah pada data pelatihan. Memahami alasannya membantu Anda membangun sistem yang lebih baik.

Ringkasan: n-gram dan RNN muncul lebih dahulu tetapi memiliki keterbatasan, Transformer membuat model dapat berkembang dalam skala besar, dan RLHF mengubah GPT-3 mentah menjadi ChatGPT. Selanjutnya: cara kerja perhatian sebenarnya. ✨