Kemampuan dan Keterbatasan LLM
Jelajahi hal-hal yang benar-benar dikuasai LLM dan hal-hal yang membuatnya gagal, termasuk halusinasi, batas pengetahuan, dan keterbatasan penalaran, agar ekspektasi proyek tetap realistis.
Kemampuan dan Keterbatasan LLM adalah pelajaran AI Engineering Academy gratis di CoddyKit. Ini adalah pelajaran 4 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar AI Engineering Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus AI Engineering Academy mencakup 4 pelajaran total.
Hal-Hal yang Benar-Benar Dikuasai LLM
LLM unggul dalam pekerjaan bahasa: meringkas, menerjemahkan, menulis kode, dan mengubah teks menjadi format seperti JSON. Berikan beberapa contoh, dan model akan segera menangkap polanya.
Halusinasi: Mode Kegagalan Mendasar
Halusinasi terjadi ketika model menyatakan sesuatu yang salah dengan penuh keyakinan. Model memprediksi hal yang terdengar mungkin, bukan hal yang benar—jadi jangan pernah menjadikannya satu-satunya sumber fakta.
Batas Pengetahuan dan Informasi Kedaluwarsa
Setiap model memiliki batas pengetahuan—model tidak mengetahui apa pun setelah tanggal tersebut. Untuk informasi terbaru, berikan dokumen terkini kepada model saat kueri dilakukan dengan RAG.
Batas Penalaran: Bukan Mesin Logika
LLM meniru penalaran, tetapi bukan mesin logika yang sebenarnya, sehingga dapat keliru dalam matematika yang tepat dan logika bertahap. Untuk pekerjaan presisi, serahkan kepada alat khusus—lihat kodenya.
# Illustrating why you should use tools for computation
from openai import OpenAI
client = OpenAI()
# BAD: asking LLM to compute this directly
prompt_bad = 'What is 7.3% of 48,291.67?'
# GOOD: let Python compute, LLM just formats the answer
def calculate_percentage(value, pct):
return round(value * pct / 100, 2)
result = calculate_percentage(48291.67, 7.3)
print(f'7.3% of 48,291.67 is {result}') # 3525.29 - always correctJendela Konteks sebagai Batasan Tegas
Jendela konteks adalah jumlah maksimum token yang dapat ditangani model sekaligus—gabungan prompt, riwayat, dan keluaran. Jika melebihinya, permintaan akan gagal.
Kepekaan terhadap Perumusan Prompt
LLM peka terhadap perumusan prompt. Perubahan kecil pada kalimat, atau penambahan "pikirkan langkah demi langkah", dapat sangat mengubah jawaban—ini kuat, tetapi perlu diuji dengan cermat.
Inkonsistensi dan Nondeterminisme
LLM bersifat nondeterministik: prompt yang sama dapat menghasilkan jawaban yang berbeda. Model yang benar 95% tetap salah 1 dari 20 kali, jadi uji dengan banyak contoh, bukan hanya beberapa.
import openai
client = openai.OpenAI()
def sample_with_majority_vote(prompt, n=5):
responses = []
for _ in range(n):
r = client.chat.completions.create(
model='gpt-4o-mini',
messages=[{'role': 'user', 'content': prompt}],
temperature=0.3,
max_tokens=10
)
responses.append(r.choices[0].message.content.strip())
# Return most common answer
return max(set(responses), key=responses.count)Sikap Menjilat: Bias untuk Menyetujui
Sikap menjilat terjadi ketika model menyetujui Anda meskipun Anda salah, karena penilai menyukai jawaban yang menyetujui. Untuk mendapatkan kritik sungguhan, mintalah model membela sudut pandang sebaliknya.
Hal-Hal yang Tidak Dapat Dilakukan LLM
Beberapa keterbatasan sudah melekat: LLM tidak dapat menjelajah internet, menjalankan kode, mengingat percakapan sebelumnya, atau mengerjakan matematika secara tepat tanpa bantuan. Padukan LLM dengan alat untuk tugas-tugas tersebut.
Masalah Bias dan Representasi
Karena dilatih dengan teks internet, LLM menyerap bias di dalamnya—stereotip, cakupan bahasa yang tidak merata, dan pandangan yang menyimpang. Uji pada berbagai kelompok dan dokumentasikan keterbatasannya bagi pengguna Anda.
Menetapkan Ekspektasi Realistis untuk Proyek
Demo yang menarik tetap dapat gagal pada input nyata. Itu bukan alasan untuk menghindari LLM—justru itulah alasan Anda perlu membangun evaluasi sejak hari pertama dan mengukur kegagalan seiring waktu.
Pemeriksaan Singkat
Uji pemahaman Anda tentang konsep Rekayasa AI dari pelajaran ini.
Ringkasan Pelajaran
Ringkasan: halusinasi memerlukan RAG atau verifikasi, batas pengetahuan memerlukan pengambilan informasi, dan nondeterminisme memerlukan evaluasi nyata. Selanjutnya: panggilan API OpenAI pertama Anda. 🎉
Pertanyaan yang Sering Diajukan
Apakah pelajaran “Kemampuan dan Keterbatasan LLM” gratis?
Ya — teks lengkap “Kemampuan dan Keterbatasan LLM” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus AI Engineering Academy, upgrade ke CoddyKit PRO. Kursus AI Engineering Academy mencakup 4 pelajaran total.
Apa yang akan aku pelajari di “Kemampuan dan Keterbatasan LLM”?
Jelajahi hal-hal yang benar-benar dikuasai LLM dan hal-hal yang membuatnya gagal, termasuk halusinasi, batas pengetahuan, dan keterbatasan penalaran, agar ekspektasi proyek tetap realistis. Kamu berlatih AI Engineering Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.
Apakah aku perlu pengalaman untuk memulai AI Engineering Academy?
Tidak diperlukan pengalaman sebelumnya. AI Engineering Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 4 dari 4.
Berapa lama pelajaran “Kemampuan dan Keterbatasan LLM” memakan waktu?
Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.
Bisakah aku menulis dan menjalankan kode dalam pelajaran AI Engineering Academy ini?
Ya. Setiap pelajaran AI Engineering Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.
Semua pelajaran dalam kursus ini
- Dari Pelengkapan Otomatis hingga ChatGPT
- Transformer dan Attention dalam Bahasa Sederhana
- Cara LLM Dilatih
- Kemampuan dan Keterbatasan LLM