Evaluasi, Penerapan, dan Retrospektif

Sistem belum siap diluncurkan sampai dievaluasi dari ujung ke ujung dalam kondisi dunia nyata. Tahap evaluasi akhir menggabungkan semua teknik evaluasi yang dipelajari dalam jalur ini: metrik pengambilan untuk memastikan pipeline RAG menemukan potongan yang tepat, skor LLM sebagai juri untuk memastikan kualitas jawaban, pengujian beban untuk memastikan SLA latensi, dan pemindaian keamanan untuk memastikan penguatan. Semuanya harus berhasil sebelum penerapan dimulai.

Jalankan seluruh rangkaian evaluasi pada lingkungan penahapan menggunakan sampel kueri yang representatif terhadap kueri produksi. Catat semua metrik: tingkat keberhasilan, MRR, NDCG untuk pengambilan; faithfulness dan relevansi jawaban untuk pembuatan; biaya per kueri; latensi p50/p95/p99. Bandingkan setiap metrik dengan kriteria keberhasilan yang ditetapkan pada tahap arsitektur. Jangan meluncurkan sistem sampai semua batas minimum yang ketat terpenuhi.

Jalankan pengujian beban yang menyimulasikan lalu lintas produksi yang realistis sebelum sistem aktif. Gunakan alat seperti Locust atau k6 untuk meningkatkan beban hingga konkurensi puncak yang diperkirakan (misalnya, 50 pengguna bersamaan) dan ukur perubahan latensi di bawah beban. Pastikan pemutus sirkuit tidak aktif pada beban normal, pembatas laju mengembalikan respons 429 yang benar saat terjadi lalu lintas lonjakan, dan tingkat cache hit semantik tetap di atas target. Perbaiki setiap regresi sebelum melanjutkan.

Lakukan penerapan menggunakan penerapan biru-hijau: jalankan versi baru (hijau) berdampingan dengan versi yang ada (biru), jalankan pengujian asap terhadap versi hijau, lalu alihkan lalu lintas secara bertahap dari biru ke hijau. Mulai dengan 5% lalu lintas ke hijau, pantau tingkat kesalahan dan latensi selama 10 menit, lalu alihkan 25%, kemudian 50%, dan akhirnya 100%. Dengan cara ini, Anda dapat segera mengembalikan sistem ke biru jika terjadi masalah, tanpa waktu henti.

Setelah menerapkan sistem, pantau metrik utama secara aktif selama 2 jam pertama. Pantau: tingkat kesalahan (target <1%), latensi p95 (target <8 dtk), tingkat cache hit (target >20%), dan biaya per kueri (target <$0,05). Siapkan kanal Slack ruang tanggap insiden dengan semua teknisi yang bertugas untuk penerapan pertama. Setiap metrik yang melewati ambang peringatan memicu penyelidikan; ambang kritis memicu pengembalian segera ke versi biru.

Setelah sistem aktif selama seminggu, tulislah dokumen retrospektif yang mencatat hal-hal yang berhasil, yang tidak berhasil, dan hal-hal yang akan Anda lakukan secara berbeda. Retrospektif yang baik harus jujur tentang kegagalan dan spesifik mengenai pembelajaran yang diperoleh. Pembaca di masa mendatang — termasuk Anda enam bulan dari sekarang — akan memperoleh manfaat dengan memahami alasan di balik keputusan yang dibuat di bawah tekanan waktu serta hambatan tak terduga yang dihadapi.

Tulis panduan operasional untuk setiap peringatan yang dapat muncul dalam produksi. Panduan operasional adalah panduan langkah demi langkah untuk mendiagnosis dan mengatasi peringatan tertentu. Panduan ini harus menjawab: apa arti peringatan ini, apa penyebab yang mungkin, bagaimana cara mendiagnosisnya, dan bagaimana cara memperbaikinya. Panduan operasional mengurangi waktu rata-rata penyelesaian (MTTR) dari hitungan jam menjadi menit dengan menghilangkan kebutuhan untuk memikirkan langkah diagnosis saat terjadi insiden yang menegangkan.

Setelah satu bulan berjalan di lingkungan produksi, ukur dampak bisnis sistem, bukan hanya metrik teknis. Untuk asisten tanya jawab: seberapa besar volume tiket dukungan pelanggan berkurang? Berapa skor kepuasan pengguna atas pertanyaan yang dijawab oleh kecerdasan buatan? Berapa banyak pertanyaan yang ditangani sistem, yang sebelumnya memerlukan bantuan agen dukungan manusia? Metrik bisnis ini membenarkan investasi dan membantu menentukan prioritas di masa mendatang antara peningkatan kualitas dan fitur baru.

Sistem yang telah dirilis tidak pernah benar-benar selesai—sistem tersebut menjadi landasan untuk peningkatan berkelanjutan. Gunakan data evaluasi, umpan balik pengguna, dan pembelajaran dari retrospektif untuk merencanakan iterasi berikutnya. Prioritaskan peningkatan yang memberikan dampak terbesar pada metrik yang paling penting: jika tingkat keberhasilan pengambilan informasi menjadi faktor pembatas, investasikan upaya pada pemenggalan yang lebih baik atau model penyematan yang berbeda; jika kepuasan pengguna rendah meskipun pengambilan informasi sudah baik, investasikan upaya pada kualitas instruksi.

Tulislah dokumentasi untuk keputusan implementasi penting dalam sistem yang tidak langsung terlihat. Keputusan ini mencakup: alasan pemilihan ukuran potongan tertentu (dan hasil yang ditunjukkan oleh berbagai eksperimen), cara mengkalibrasi ambang kemiripan tembolok semantik, pola penyisipan mana yang saat ini dapat dideteksi oleh penyaring dan mana yang tidak, serta cara menambahkan alat baru ke agen. Dokumentasi internal yang baik mengurangi waktu orientasi bagi kontributor baru dan mencegah keputusan dibatalkan secara tidak sengaja oleh seseorang yang tidak mengetahui alasannya.

Renungkan sistem lengkap yang telah Anda bangun dalam proyek akhir ini: alur kerja RAG hibrida yang menggabungkan pengambilan informasi padat dan renggang dengan pemeringkatan ulang, agen yang mengalirkan respons dengan pemanggilan fungsi dan pagar pengaman keselamatan, tembolok semantik yang mengurangi biaya sebesar 30%, pemutus sirkuit yang menyediakan pengalihan otomatis, evaluasi dengan LLM sebagai penilai yang berjalan terus-menerus dalam integrasi dan pengiriman berkelanjutan, serta pertahanan terhadap penyisipan instruksi yang melindungi dari masukan berbahaya. Inilah rekayasa kecerdasan buatan untuk produksi.

Dalam pelajaran ini, Anda telah mempelajari bahwa evaluasi akhir menggabungkan metrik pengambilan informasi, skor LLM sebagai penilai, pengujian beban, dan pemindaian keamanan sebelum penerapan apa pun dimulai, penerapan biru-hijau dengan pengalihan lalu lintas secara bertahap memungkinkan pemulihan ke versi sebelumnya secara langsung tanpa waktu henti, dan retrospektif serta panduan operasional menyimpan pengetahuan organisasi yang mengurangi waktu penyelesaian insiden di masa mendatang. Selamat telah menyelesaikan jalur Rekayasa Kecerdasan Buatan: LLM, RAG, dan Agen!