AI Prompt Engineering · Pelajaran

Validasi Kritik Diri

Keluaran yang diperiksa model.

Validasi Kritik Diri adalah pelajaran AI Prompt Engineering gratis di CoddyKit. Ini adalah pelajaran 4 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar AI Prompt Engineering, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus AI Prompt Engineering mencakup 4 pelajaran total.

Model sebagai Pengkritiknya Sendiri

Kritik mandiri menggunakan LLM untuk mengevaluasi keluaran LLM berdasarkan rubrik atau kebijakan. Teknik ini menangkap kegagalan bernuansa yang tidak dapat disandikan oleh pemeriksa deterministik: ketidakkonsistenan faktual, nada, kebermanfaatan, dan pelanggaran kebijakan yang halus.

Ini merupakan pelengkap berbasis model bagi pemeriksa skema dan aturan.

Pisahkan Pengkritik dari Pembuat

Jalankan kritik sebagai panggilan terpisah dengan perintahnya sendiri, bukan sebagai instruksi tambahan di akhir pembuatan. Pengkritik dengan konteks bersih yang hanya diminta menilai jauh lebih andal daripada meminta pembuat menilai dirinya sendiri di tengah pembuatan, karena ia cenderung bias terhadap jawabannya sendiri.

draft = author_model(task_prompt)
verdict = critic_model(
  'You are a strict reviewer. Judge ONLY the answer below against the rubric.\n'
  'Rubric: ' + rubric + '\nAnswer: ' + draft
)

Keluaran Kritik Terstruktur

Minta pengkritik menghasilkan keputusan terstruktur agar alur dapat bertindak secara terprogram. Kritik berupa teks bebas tidak dapat ditindaklanjuti oleh mesin.

CRITIC_SCHEMA = {
  'type': 'object',
  'properties': {
    'pass': {'type': 'boolean'},
    'violations': {'type': 'array', 'items': {'type': 'string'}},
    'severity': {'type': 'string', 'enum': ['none','minor','major','critical']},
    'fix_hint': {'type': 'string'}
  },
  'required': ['pass','violations','severity','fix_hint'],
  'additionalProperties': False
}

Putaran Kritik lalu Revisi

Padukan pengkritik dengan perevisi. Pengkritik menemukan masalah; pembuat merevisi menggunakan kritik tersebut; ulangi sampai lolos atau anggaran habis. Ini adalah padanan berbasis model dari putaran perbaikan.

draft = author_model(task)
for _ in range(2):
    c = critic_model(draft)
    if c['pass']:
        break
    draft = author_model(task + '\nRevise to fix: ' + c['fix_hint'])
final = draft

Rubrik Membuat Kritik Andal

Instruksi yang samar ('apakah ini bagus?') menghasilkan keputusan yang bising. Rubrik konkret dengan kriteria eksplisit dan dapat diperiksa menghasilkan keputusan yang konsisten. Uraikan menjadi pertanyaan ya/tidak yang dijawab pengkritik satu per satu.

RUBRIC = [
  'Does the answer directly address the user question?',
  'Are all factual claims supported by the provided context?',
  'Is any disallowed content present?',
  'Is the response within the requested length?'
]

Kritik Berbasis Sumber untuk Faktualitas

Untuk mendeteksi halusinasi, berikan konteks sumber kepada pengkritik dan minta ia menandai setiap klaim yang tidak didukung oleh konteks tersebut. Ini mengubah kritik mandiri menjadi pemeriksaan keterikutan, yang jauh lebih kuat daripada bertanya 'apakah ini benar?' tanpa bukti.

verdict = critic_model(
  'For each claim in the ANSWER, state whether the CONTEXT entails it. '
  'Flag any unsupported claim.\nCONTEXT:\n' + ctx + '\nANSWER:\n' + draft
)

Mode Kegagalan Pengkritik

Pengkritik sendiri adalah LLM dan dapat gagal:

Sikap menjilat — menerima jawaban pembuat tanpa pemeriksaan.
Kritik berlebihan — menandai keluaran yang benar.
Titik buta bersama — model yang sama melewatkan kesalahan yang sama.

Kurangi risiko dengan menggunakan keluarga model yang berbeda sebagai pengkritik, persona peninjau yang ketat, dan ambang batas yang terkalibrasi.

Gunakan Pengkritik yang Lebih Murah atau Berbeda

Pengkritik tidak harus berupa model yang paling mahal. Sering kali model yang lebih kecil dengan rubrik yang ketat menjadi gerbang yang hemat biaya, dan penggunaan keluarga model yang berbeda mengurangi titik buta yang berkorelasi. Simpan model terkuat untuk pembuatan.

Kapan Memercayai dan Kapan Memverifikasi

Kritik mandiri mengurangi kesalahan, tetapi bukan bukti. Untuk konten berisiko rendah, satu putaran kritik sudah cukup. Untuk keluaran berisiko tinggi, gabungkan kritik mandiri dengan pemeriksa deterministik dan peninjauan manusia; jangan pernah menjadikan model sebagai satu-satunya penentu keputusan yang kritis bagi keselamatan.

Biaya, Latensi, dan Penyimpanan Tembolok

Kritik mandiri kira-kira menggandakan jumlah panggilan per permintaan. Kendalikan hal ini: lakukan kritik hanya setelah pemeriksaan deterministik berhasil (kritik hanya keluaran yang lolos skema/aturan), simpan kritik untuk draf yang identik, dan batasi jumlah putaran revisi. Jika memungkinkan, jalankan kritik secara paralel dengan pekerjaan yang tidak menghalangi proses.

if deterministic_ok(draft):
    verdict = critic_model(draft)   # only spend critique on viable drafts

Kalibrasikan Berdasarkan Label Manusia

Validasi pengkritik sebelum memercayainya. Buat sekumpulan keluaran berlabel manusia, jalankan pengkritik, lalu ukur kesepakatan (presisi/recall terhadap keputusan manusia). Sesuaikan rubrik dan persona sampai keputusan pengkritik berkorelasi dengan keputusan manusia; periksa kembali setelah peningkatan model.

agreement = mean(critic(d)['pass'] == human_label[d] for d in eval_set)
assert agreement > 0.9

Pemeriksaan Singkat

Anda ingin pengkritik secara andal menangkap halusinasi dalam jawaban RAG. Apa yang paling meningkatkan keandalannya?

Rangkuman

Validasi kritik mandiri:

Pengkritik terpisah dengan konteks bersih menilai keluaran pembuat.
Hasilkan keputusan terstruktur; jalankan putaran kritik lalu revisi.
Rubrik konkret dan pemeriksaan keterikutan berbasis sumber meningkatkan keandalan.
Waspadai sikap menjilat dan titik buta bersama; gunakan model pengkritik yang berbeda.
Kendalikan berdasarkan biaya, gabungkan dengan pemeriksaan deterministik, dan kalibrasikan terhadap manusia.

Anda telah menyelesaikan materi pagar pengaman. Kursus berikutnya: pengujian red-team dan evaluasi adversarial.

Pertanyaan yang Sering Diajukan

Apakah pelajaran “Validasi Kritik Diri” gratis?

Ya — teks lengkap “Validasi Kritik Diri” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus AI Prompt Engineering, upgrade ke CoddyKit PRO. Kursus AI Prompt Engineering mencakup 4 pelajaran total.

Apa yang akan aku pelajari di “Validasi Kritik Diri”?

Keluaran yang diperiksa model. Kamu berlatih AI Prompt Engineering dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.

Apakah aku perlu pengalaman untuk memulai AI Prompt Engineering?

Tidak diperlukan pengalaman sebelumnya. AI Prompt Engineering di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 4 dari 4.

Berapa lama pelajaran “Validasi Kritik Diri” memakan waktu?

Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.

Bisakah aku menulis dan menjalankan kode dalam pelajaran AI Prompt Engineering ini?

Ya. Setiap pelajaran AI Prompt Engineering menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.

Semua pelajaran dalam kursus ini

← Kembali ke AI Prompt Engineering