Contoh Kategoris

Saat Anda memberi Claude tugas dengan batas yang kabur, instruksi samar seperti "be more precise" jarang berhasil. Model tidak dapat membaca pikiran Anda untuk mengetahui letak batas tersebut.

Perbaikan yang andal adalah contoh kategoris: sekumpulan kecil 2-4 contoh few-shot yang menunjukkan kasus konkret tentang hal yang harus dilaporkan dan hal yang harus diabaikan. Model menggeneralisasi dari contoh-contoh ini ke input baru yang belum pernah dilihat — bukan sekadar mengulanginya.

Pelajaran ini menunjukkan cara menyusun contoh tersebut untuk tugas arsitek yang klasik: menentukan hal yang layak ditandai dan hal yang hanya merupakan kebisingan.

Sebelum menggunakan contoh, nyatakan kriteria yang eksplisit. Aturan yang eksplisit secara konsisten lebih baik daripada kata sifat yang samar.

• Samar: "Tinjau kode dengan cermat."
• Eksplisit: "Tandai komentar hanya jika komentar tersebut bertentangan dengan kode yang dijelaskannya."

Versi eksplisit menarik garis yang tegas. Contoh kategoris kemudian membuat garis tersebut tidak mungkin disalahpahami dengan menambatkannya pada kasus konkret di kedua sisinya.

Kumpulan yang baik memiliki contoh di kedua sisi batas, masing-masing dengan alasan satu baris. Dua kasus REPORT dan dua kasus IGNORE sudah cukup untuk sebagian besar ambiguitas — 2-4 contoh yang terarah adalah jumlah yang ideal.

Setiap contoh memiliki tiga bagian:

• input (hal yang dinilai)
• keputusan (laporkan / abaikan)
• alasan singkat yang terkait dengan kriteria Anda

Alasan inilah yang memungkinkan model melakukan generalisasi dengan benar, alih-alih mencocokkan pola berdasarkan ciri permukaan.

Berikut adalah blok contoh kategoris untuk tugas peninjauan komentar. Perhatikan simetrinya: kontradiksi dilaporkan; ketidaksesuaian yang tidak berbahaya diabaikan.

Kekuatan contoh kategoris terletak pada kemampuan model untuk menggeneralisasi. Model tidak memerlukan contoh untuk setiap kemungkinan input.

Dari empat kasus di atas, Claude mempelajari aturan "tandai kontradiksi semantik, abaikan ketidaksesuaian yang tidak berbahaya" dan menerapkannya pada komentar baru yang belum pernah dilihatnya, seperti docstring yang menyatakan bahwa suatu fungsi mengembalikan daftar padahal fungsi tersebut mengembalikan kamus.

Inilah alasan contoh few-shot ideal untuk konsistensi, kasus tepi, format keluaran, dan mengurangi halusinasi.

Contoh yang paling berharga berada tepat di batas, saat keputusan benar-benar sulit. Contoh IGNORE yang hampir layak ditandai di samping contoh REPORT yang hampir tidak layak ditandai mengajarkan jauh lebih banyak daripada dua kasus yang jelas.

Untuk agen riset yang menentukan statistik mana yang perlu ditampilkan, Anda dapat membandingkan angka lama dengan angka terbaru — dan mencatat bahwa tanggal sering menyelesaikan kontradiksi yang tampak, alih-alih menyimpulkan bahwa salah satu angka begitu saja keliru.

Contoh kategoris berpadu secara alami dengan keluaran terstruktur. Saat keputusan harus dapat dibaca mesin, paksa pemanggilan alat agar hasilnya selalu berupa JSON yang valid.

Gunakan tool_choice bertipe "any" untuk menjamin model memanggil suatu alat (sehingga keluaran terstruktur terjamin), atau paksa satu alat tertentu berdasarkan namanya. Skema JSON kemudian menghilangkan kesalahan sintaks dan menegakkan kolom wajib.

Jebakan yang halus: dalam skema temuan Anda, tandai kolom sebagai wajib hanya jika kolom tersebut selalu ada. Jika Anda mewajibkan kolom yang mungkin tidak ada — misalnya line_number untuk temuan yang tidak terkait dengan baris tertentu — model akan mengarang nilai untuk memenuhi skema.

Untuk kategori yang mungkin bertambah, gunakan enum ditambah nilai "other" dan kolom detail teks bebas. Dengan begitu, keluaran tetap terstruktur sekaligus dapat diperluas.

Contoh kategoris mempertajam batas penilaian. Contoh tersebut tidak menciptakan informasi yang hilang.

Jika model mengembalikan hasil kosong atau keliru karena fakta yang diperlukan memang tidak ada dalam sumber, menambahkan lebih banyak contoh tidak akan membantu — demikian juga mencoba ulang dengan umpan balik. Percobaan ulang memperbaiki kesalahan format, struktural, dan aritmetika, bukan data yang tidak ada.

Bedakan hasil kosong yang sebenarnya ("tidak ditemukan kecocokan") dari kegagalan akses (sumber tidak dapat dibaca). Perlakukan keduanya secara berbeda dalam logika pemulihan Anda.

Tanamkan kebijakan laporkan/abaikan di tempat pekerjaan berlangsung. Untuk tugas peninjauan CI, letakkan contoh di CLAUDE.md tingkat proyek (dibagikan melalui VCS) agar setiap eksekusi dan setiap anggota tim menggunakan batas yang sama.

Di CI, jalankan peninjauan dalam sesi yang terisolasi (lebih sedikit bias daripada konteks pembuatan) dengan -p untuk keluaran noninteraktif. Kriteria eksplisit ditambah contoh kategoris adalah cara tepat untuk meminimalkan positif palsu.

Resep lengkap untuk keputusan laporkan/abaikan yang bersih:

• Tulis satu kriteria eksplisit untuk batasnya.
• Tambahkan 2–4 contoh kategoris yang dibagi ke kedua sisi, masing-masing disertai alasan.
• Tempatkan contoh di batas-batas sulit, bukan pada kasus yang jelas.
• Paksa keluaran terstruktur dengan alat; wajibkan hanya bidang yang selalu ada.
• Ingat: contoh membentuk penilaian, bukan melengkapi data yang hilang.

Lakukan ini, dan Claude akan menggeneralisasi maksud Anda secara andal pada input yang belum pernah dilihatnya.

Hal-hal penting:

• Kriteria eksplisit + contoh kategoris lebih baik daripada kata sifat yang samar untuk batas yang tidak jelas.
• Gunakan 2–4 contoh yang dibagi antara laporkan dan abaikan, masing-masing disertai alasan; model menggeneralisasi, bukan sekadar mengulang.
• Tempatkan contoh di batas-batas sulit; ingat bahwa tanggal sering menyelesaikan kontradiksi yang tampak.
• Padukan dengan keluaran terstruktur (tool_choice "any" + JSON Schema); wajibkan hanya bidang yang selalu ada, dan gunakan enum+"other" untuk ekstensibilitas.
• Contoh mempertajam penilaian, bukan melengkapi data yang hilang — fakta yang tidak ada memerlukan perbaikan lain, dan percobaan ulang hanya memperbaiki kesalahan format/aritmetika.