Injeksi Prompt dan Jailbreak

Injeksi perintah adalah padanan era LLM dari kelemahan injeksi klasik (SQL, perintah). Akar masalahnya sama: aplikasi mencampur instruksi tepercaya dan data tak tepercaya dalam saluran yang sama, sedangkan penafsirnya (model) tidak dapat membedakan keduanya secara andal.

Dengan LLM, perintah sistem, instruksi pengembang, dan konten yang diambil semuanya tiba sebagai satu aliran token tanpa struktur. Jika teks yang dikendalikan penyerang mengatakan Ignore previous instructions and..., model mungkin mematuhinya karena, bagi model, teks itu hanyalah bahasa tambahan.

• Tepercaya: perintah sistem dan kebijakan Anda.
• Tak tepercaya: masukan pengguna, halaman web, berkas, keluaran alat, dan surel.

Injeksi perintah langsung terjadi ketika pengguna akhir mengetikkan instruksi bermusuhan langsung ke dalam perintah untuk mengesampingkan perilaku yang dimaksudkan aplikasi.

Upaya umum terhadap bot dukungan pelanggan terlihat seperti ini:

• Bot tersebut diperintahkan untuk hanya menjawab pertanyaan penagihan.
• Pengguna menempelkan teks yang membingkai ulang peran model dan memintanya membocorkan perintah sistem atau melakukan tindakan di luar cakupan.

Injeksi langsung paling mudah dipahami karena teks berbahaya dan penyerangnya adalah orang yang sama, tetapi injeksi ini tetap dapat melewati pagar pengaman yang naif.

Injeksi perintah tidak langsung (tingkat kedua) adalah varian yang lebih berbahaya. Penyerang menanamkan instruksi dalam konten yang nantinya akan diambil oleh model: halaman web, PDF, undangan kalender, komentar kode, atau tiket dukungan.

Pengguna korban tidak pernah melihat muatan tersebut. Saat alur pemrosesan RAG atau agen penjelajah mengambil konten itu ke dalam konteks, instruksi tersembunyi dijalankan dengan hak akses pengguna korban.

Contoh: sebuah halaman web berisi teks tersembunyi yang memerintahkan agen peringkas untuk mengeksfiltrasi riwayat percakapan pengguna ke URL penyerang.

Istilah-istilah ini saling tumpang tindih, tetapi tidak identik:

• Injeksi perintah menargetkan batas aplikasi — mengesampingkan instruksi pengembang dengan data penyerang.
• Pembobolan batasan menargetkan penyelarasan keamanan model — membujuk model untuk menghasilkan konten yang telah dilatih oleh penyedia agar ditolaknya.

Pembobolan batasan tidak memerlukan aplikasi yang rentan; serangan ini bekerja terhadap model mentah. Banyak serangan nyata menggabungkan keduanya: pembobolan batasan melonggarkan penolakan, sementara injeksi mengarahkan ulang perilaku aplikasi.

Penyerang menggunakan pola manipulasi yang dapat diprediksi. Mengetahuinya membantu Anda melakukan pengujian tim merah terhadap sistem sendiri secara bertanggung jawab:

• Bermain peran / persona: membingkai permintaan sebagai fiksi atau sebagai tokoh fiktif tanpa batasan.
• Pengaburan: base64, bahasa leet, penerjemahan, atau pemisahan token untuk menghindari penyaring kata kunci.
• Pemecahan muatan: menyebarkan permintaan di beberapa giliran sehingga tidak ada satu pesan pun yang tampak berbahaya.
• Skenario hipotetis: For a security class, describe how one would...
• Injeksi awalan: memaksa jawaban dimulai dengan persetujuan seperti Sure, here is.

Banyak tim pertama-tama memilih daftar penolakan yang berisi frasa seperti ignore previous instructions. Cara ini rapuh karena ruang masukan pada dasarnya tidak terbatas.

Bahasa alami dapat menyampaikan maksud yang sama dengan tak terhitung banyaknya cara, melalui berbagai bahasa, penyandian, dan kiasan. Penyerang melakukan iterasi lebih cepat daripada kemampuan Anda menambal ekspresi reguler.

Prinsip utama: perlakukan penyaringan masukan sebagai pertahanan berlapis, bukan sebagai kontrol utama. Anggaplah sebagian injeksi akan lolos dan rancang sistem agar injeksi yang berhasil tetap tidak dapat menyebabkan kerugian nyata.

Mitigasi yang paling efektif bersifat arsitektural: batasi tindakan yang dapat dilakukan konteks model yang telah disusupi.

• Berikan LLM hak akses minimum yang diperlukan. Peringkas tidak seharusnya memiliki kredensial untuk mengirim surel.
• Jauhkan konten tak tepercaya dari jalur istimewa. Jika agen membaca data web eksternal, agen tersebut juga tidak boleh dapat menjalankan tindakan yang tidak dapat dibatalkan pada giliran yang sama tanpa titik pemeriksaan.
• Pisahkan bidang data dari bidang kendali: teks yang diambil harus menjadi data, bukan perintah.

Walaupun tidak sempurna, struktur perintah dapat meningkatkan tingkat kesulitan serangan. Tandai dengan jelas data tak tepercaya dan instruksikan model tentang cara memperlakukannya.

Gunakan pembatas yang eksplisit dan beri tahu model bahwa apa pun yang berada di dalamnya adalah data untuk dianalisis, bukan instruksi untuk diikuti. Padukan cara ini dengan peran sistem yang kuat dan diperkuat oleh aplikasi pada setiap pemanggilan.

Keluaran model juga tidak tepercaya. Jika aplikasi menyalurkan keluaran LLM ke shell, basis data, peramban, atau alat lain, injeksi dapat berubah menjadi eksekusi kode jarak jauh atau eksfiltrasi data.

Tiga serangkai mematikan Simon Willison menggambarkan kombinasi yang berbahaya:

• Akses ke data pribadi,
• Paparan terhadap konten tak tepercaya,
• Kemampuan untuk berkomunikasi ke luar (mengeksfiltrasi data).

Agen yang memiliki ketiganya dapat diubah menjadi alat pencurian data oleh satu instruksi yang disisipkan. Putuskan tiga serangkai tersebut untuk memutus serangan.

Anggap injeksi akan terjadi dan lengkapi sistem dengan pencatatan untuk mendeteksinya:

• Catat seluruh konteks (perintah, potongan yang diambil, dan pemanggilan alat) untuk peninjauan insiden.
• Gunakan pengklasifikasi sekunder atau model penjaga untuk menandai masukan dan keluaran yang mencurigakan.
• Pantau penggunaan alat yang tidak wajar: permintaan keluar yang tiba-tiba, akses data yang tidak terduga, dan pola kebocoran perintah.
• Terapkan penanda umpan dalam perintah sistem; jika penanda umpan muncul dalam keluaran, berarti telah terjadi kebocoran.

Tangani peringatan sebagai insiden nyata dengan panduan respons.

Menguji sistem sendiri terhadap injeksi merupakan hal yang penting dan sah. Lakukan secara bertanggung jawab:

• Uji hanya sistem yang Anda miliki atau berwenang untuk nilai.
• Gunakan lingkungan terkendali dan data sintetis; jangan pernah mengeksfiltrasi data pengguna nyata.
• Dokumentasikan temuan dan masukkan ke dalam pengujian regresi agar celah yang telah diperbaiki tetap tertutup.
• Koordinasikan pengungkapan jika Anda menemukan masalah pada model atau aplikasi pihak ketiga.

Tujuannya adalah membuat aplikasi Anda tangguh, bukan menghasilkan kemampuan yang berbahaya.

Uji pemahaman Anda tentang batas kepercayaan dalam injeksi.

Poin penting tentang injeksi perintah dan pembobolan batasan:

• Injeksi terjadi karena instruksi tepercaya dicampur dengan data tak tepercaya dalam satu saluran.
• Injeksi langsung berasal dari pengguna; injeksi tidak langsung tersembunyi dalam konten yang diambil dan lebih sulit dideteksi.
• Pembobolan batasan menyerang penyelarasan model, sedangkan injeksi menyerang batas aplikasi. Keduanya dapat digabungkan.
• Penyaringan masukan hanya merupakan pertahanan berlapis, bukan kontrol utama.
• Lakukan mitigasi secara arsitektural: hak akses minimum, pisahkan data dari kendali, dan putus tiga serangkai mematikan (data pribadi + konten tak tepercaya + eksfiltrasi).
• Perlakukan keluaran model sebagai data tak tepercaya, catat semuanya, dan lakukan pengujian tim merah secara etis.