Apa yang Membuat Model Berukuran Besar

Model bahasa besar adalah transformer yang dilatih dengan sangat banyak teks, dengan miliaran parameter yang menyimpan pola bahasa. 🤖

Parameter model adalah angka-angka yang dipelajari dan membentuk prediksinya. Semakin banyak parameter, semakin besar ruang bagi model untuk menangkap pola yang halus.

Selama pelatihan awal, model membaca teks dalam jumlah sangat besar dan belajar dengan berulang kali memprediksi kata berikutnya, hingga miliaran kali.

Tujuan sederhana itu sangat kuat: agar dapat menebak kata berikutnya dengan baik, model harus menyerap tata bahasa, fakta, dan penalaran yang tersembunyi dalam teks.

Meningkatkan skala berarti menambah parameter, data pelatihan, dan komputasi. Pertumbuhan ketiganya secara bersamaanlah yang membuka kemampuan baru.

Setelah melewati ukuran tertentu, model menunjukkan kemampuan yang muncul seperti menerjemahkan atau bernalar, yang sama sekali tidak dapat dilakukan versi yang lebih kecil.

Satu model besar merupakan alat serbaguna: bobot yang sama dapat meringkas, menjawab pertanyaan, menulis kode, dan menerjemahkan.

Model pralatih yang luas ini disebut model fondasi karena Anda membangun aplikasi tertentu di atasnya.

Setelah pelatihan awal, model menjalani penyempurnaan menggunakan instruksi dan umpan balik manusia agar dapat mengikuti permintaan dan tetap membantu.

LLM hanya dapat membaca teks dalam jumlah tertentu sekaligus. Batas itu disebut jendela konteks, diukur dalam token, dan membatasi jumlah teks yang dapat Anda kirim.

Bahkan model yang sangat besar dapat dengan yakin mengarang fakta. Hal ini disebut halusinasi, dan itulah alasan Anda perlu memverifikasi keluaran yang penting.

Model besar meningkatkan skala parameter, data, dan komputasi. Skala tersebut menghadirkan kemampuan yang muncul, tetapi juga batas konteks dan risiko halusinasi. ✅