Pengesahan Kritikan Kendiri
Hasil yang disemak oleh model.
Pengesahan Kritikan Kendiri ialah pelajaran Kejuruteraan Arahan AI percuma di CoddyKit. Ini ialah pelajaran 4 daripada 4. Sebanyak 3 pelajaran dalam laluan pembelajaran ini boleh dibaca sepenuhnya secara percuma — selepas itu, CoddyKit PRO membuka akses kepada semua pelajaran, serta latihan praktikal dengan penyunting kod terbina dalam dan tutor kecerdasan buatan yang tersedia 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran Kejuruteraan Arahan AI, dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus Kejuruteraan Arahan AI merangkumi sejumlah 4 pelajaran.
Model sebagai Pengkritiknya Sendiri
Kritikan kendiri menggunakan LLM untuk menilai keluaran LLM berbanding rubrik atau dasar. Ia mengesan kegagalan bernuansa yang tidak dapat dikodkan oleh pengesah deterministik: ketidakselarasan fakta, nada, kebermanfaatan dan pelanggaran dasar yang halus.
Ia melengkapi pengesah skema dan peraturan berasaskan model.
Pisahkan Pengkritik daripada Pengarang
Jalankan kritikan sebagai panggilan berasingan dengan gesaannya sendiri, bukan sebagai arahan di hujung penjanaan. Pengkritik dengan konteks yang bersih dan hanya diminta menilai jauh lebih boleh dipercayai berbanding meminta pengarang menilai dirinya sendiri semasa penjanaan, ketika pengarang cenderung berat sebelah terhadap jawapannya sendiri.
draft = author_model(task_prompt)
verdict = critic_model(
'You are a strict reviewer. Judge ONLY the answer below against the rubric.\n'
'Rubric: ' + rubric + '\nAnswer: ' + draft
)Keluaran Kritikan Berstruktur
Pastikan pengkritik menghasilkan keputusan berstruktur supaya saluran paip boleh bertindak secara terprogram. Kritikan dalam teks bebas tidak boleh ditindak oleh mesin.
CRITIC_SCHEMA = {
'type': 'object',
'properties': {
'pass': {'type': 'boolean'},
'violations': {'type': 'array', 'items': {'type': 'string'}},
'severity': {'type': 'string', 'enum': ['none','minor','major','critical']},
'fix_hint': {'type': 'string'}
},
'required': ['pass','violations','severity','fix_hint'],
'additionalProperties': False
}Gelung Kritik Kemudian Semak Semula
Gandingkan pengkritik dengan penyemak semula. Pengkritik mencari masalah; pengarang menyemak semula menggunakan kritikan itu; ulangi sehingga lulus atau belanjawan habis. Ini ialah padanan berasaskan model bagi gelung pembaikan.
draft = author_model(task)
for _ in range(2):
c = critic_model(draft)
if c['pass']:
break
draft = author_model(task + '\nRevise to fix: ' + c['fix_hint'])
final = draftRubrik Menjadikan Kritikan Boleh Dipercayai
Arahan yang kabur ('adakah ini baik?') menghasilkan keputusan yang bising. Rubrik konkrit dengan kriteria yang jelas dan boleh disemak menghasilkan keputusan yang konsisten. Pecahkan penilaian kepada soalan ya/tidak yang dijawab oleh pengkritik secara berasingan.
RUBRIC = [
'Does the answer directly address the user question?',
'Are all factual claims supported by the provided context?',
'Is any disallowed content present?',
'Is the response within the requested length?'
]Kritikan Berpembumian untuk Ketepatan Fakta
Untuk mengesan halusinasi, berikan konteks sumber kepada pengkritik dan minta pengkritik menandakan sebarang dakwaan yang tidak disokong oleh konteks itu. Ini menukarkan kritikan kendiri kepada semakan sokongan fakta, yang jauh lebih kukuh daripada bertanya 'adakah ini benar?' tanpa bukti.
verdict = critic_model(
'For each claim in the ANSWER, state whether the CONTEXT entails it. '
'Flag any unsupported claim.\nCONTEXT:\n' + ctx + '\nANSWER:\n' + draft
)Mod Kegagalan Pengkritik
Pengkritik itu sendiri ialah LLM dan boleh gagal:
- Sikap mengampu — menerima jawapan pengarang tanpa semakan.
- Kritikan berlebihan — menandakan keluaran yang betul.
- Titik buta bersama — model yang sama terlepas daripada ralat yang sama.
Kurangkan risiko dengan menggunakan keluarga model yang berbeza sebagai pengkritik, persona penilai yang tegas dan ambang yang ditentukur.
Gunakan Pengkritik yang Lebih Murah atau Berbeza
Pengkritik tidak semestinya model yang paling mahal. Selalunya, model yang lebih kecil dengan rubrik yang ketat merupakan mekanisme saringan yang menjimatkan kos, dan penggunaan keluarga model yang berbeza mengurangkan titik buta yang berkait. Simpan model yang paling berkuasa untuk penulisan.
Bila Perlu Mempercayai atau Mengesahkan
Kritikan kendiri mengurangkan ralat tetapi bukan bukti muktamad. Untuk kandungan berisiko rendah, satu pusingan kritikan sudah memadai. Bagi keluaran berisiko tinggi, gabungkan kritikan kendiri dengan pengesah deterministik dan semakan manusia; jangan sekali-kali membiarkan model menjadi penentu tunggal bagi keputusan yang kritikal kepada keselamatan.
Kos, Kependaman dan Penyimpanan Cache
Kritikan kendiri secara kasar menggandakan bilangan panggilan bagi setiap permintaan. Kawal perkara ini: letakkan kritikan di belakang semakan deterministik, iaitu hanya kritik keluaran yang lulus skema dan peraturan, simpan kritikan dalam cache untuk draf yang sama, dan hadkan pusingan semakan. Jalankan kritikan secara selari dengan kerja yang tidak menyekat apabila boleh.
if deterministic_ok(draft):
verdict = critic_model(draft) # only spend critique on viable draftsTentukur Berdasarkan Label Manusia
Sahkan pengkritik sebelum mempercayainya. Bina satu set keluaran berlabel manusia, jalankan pengkritik dan ukur persetujuan (kejituan dan dapatan semula berbanding keputusan manusia). Laraskan rubrik dan persona sehingga keputusan pengkritik berkait dengan keputusan manusia; semak semula selepas naik taraf model.
agreement = mean(critic(d)['pass'] == human_label[d] for d in eval_set)
assert agreement > 0.9Semakan Pantas
Anda mahu pengkritik mengesan halusinasi dalam jawapan RAG dengan kebolehpercayaan yang tinggi. Apakah perkara yang paling meningkatkan kebolehpercayaan?
Imbas Kembali
Pengesahan kritik kendiri:
- Pengkritik berasingan dengan konteks yang bersih menilai keluaran pengarang.
- Hasilkan keputusan berstruktur; gerakkan gelung kritik kemudian semak semula.
- Rubrik konkrit dan semakan sokongan fakta berasaskan sumber meningkatkan kebolehpercayaan.
- Berwaspada terhadap sikap mengampu dan titik buta bersama; gunakan model pengkritik yang berbeza.
- Kawal berdasarkan kos, gabungkan dengan semakan deterministik dan tentukur berdasarkan manusia.
Anda telah melengkapkan topik pagar keselamatan. Kursus seterusnya: ujian pasukan merah dan penilaian bermusuhan.
Pelajari Kejuruteraan Arahan AI dengan tutor kecerdasan buatan — percuma
Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.
- Kursus
- 53
- Pelajaran
- 199
Soalan Lazim
Adakah pelajaran “Pengesahan Kritikan Kendiri” percuma?
Ya — sebanyak 3 pelajaran dalam laluan pembelajaran Kejuruteraan Arahan AI, termasuk “Pengesahan Kritikan Kendiri”, boleh dibaca sepenuhnya secara percuma di web ini. Selepas itu, CoddyKit PRO membuka akses kepada semua pelajaran, serta latihan interaktif dengan penyunting kod terbina dalam dan tutor kecerdasan buatan yang tersedia 24/7. Kursus Kejuruteraan Arahan AI merangkumi sejumlah 4 pelajaran.
Apakah yang akan saya pelajari dalam “Pengesahan Kritikan Kendiri”?
Hasil yang disemak oleh model. Anda berlatih Kejuruteraan Arahan AI menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.
Adakah saya memerlukan pengalaman untuk memulakan Kejuruteraan Arahan AI?
Tiada pengalaman terdahulu diperlukan. Pembelajaran Kejuruteraan Arahan AI di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 4 daripada 4.
Berapa lamakah pelajaran “Pengesahan Kritikan Kendiri” diambil?
Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.
Bolehkah saya menulis dan menjalankan kod dalam pelajaran Kejuruteraan Arahan AI ini?
Ya. Setiap pelajaran Kejuruteraan Arahan AI menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.
Semua pelajaran dalam kursus ini
- Apakah Pagar Keselamatan
- Penapisan Input dan Output
- Pengesah Skema dan Peraturan
- Pengesahan Kritikan Kendiri