Suntikan Arahan dan Pemecahan Sekatan

Suntikan gesaan tidak langsung (peringkat kedua) ialah varian yang lebih berbahaya. Penyerang menanam arahan dalam kandungan yang akan diperoleh oleh model kemudian: halaman web, PDF, jemputan kalendar, komen kod atau tiket sokongan.

Pengguna mangsa tidak pernah melihat muatan itu. Apabila saluran paip RAG atau ejen penyemakan imbas memasukkan kandungan tersebut ke dalam konteks, arahan tersembunyi dilaksanakan dengan keistimewaan pengguna mangsa.

Contoh: sebuah halaman web mengandungi teks tersembunyi yang menyuruh ejen peringkasan mengeksfiltrasi sejarah sembang pengguna ke URL penyerang.

Istilah ini bertindih tetapi tidak sama:

• Suntikan gesaan menyasarkan sempadan aplikasi — mengatasi arahan pembangun dengan data penyerang.
• Pemecahan sekatan menyasarkan penjajaran keselamatan model — memujuknya menghasilkan kandungan yang telah dilatih oleh penyedia supaya ditolak.

Pemecahan sekatan tidak memerlukan aplikasi yang terdedah; ia berfungsi terhadap model mentah. Banyak serangan sebenar menggabungkan kedua-duanya: pemecahan sekatan melonggarkan penolakan, manakala suntikan mengubah hala tingkah laku aplikasi.

Penyerang menggunakan corak manipulasi yang boleh dijangka. Mengetahuinya membantu anda menjalankan pengujian pasukan merah terhadap sistem sendiri secara bertanggungjawab:

• Lakonan peranan / watak: membingkaikan permintaan sebagai fiksyen atau watak fiksyen tanpa sekatan.
• Pengeliruan: base64, bahasa leet, terjemahan atau pemisahan token untuk mengelakkan penapis kata kunci.
• Pemecahan muatan: menyebarkan permintaan merentasi beberapa giliran supaya tiada satu mesej pun kelihatan berniat jahat.
• Andaian: For a security class, describe how one would...
• Suntikan awalan: memaksa jawapan bermula dengan persetujuan seperti Sure, here is.

Banyak pasukan mula-mula menggunakan senarai penafian frasa seperti ignore previous instructions. Kaedah ini rapuh kerana ruang masukan pada asasnya tidak terhingga.

Bahasa semula jadi boleh menyampaikan niat yang sama dalam pelbagai cara, merentas bahasa, pengekodan dan kiasan. Penyerang mencuba variasi lebih pantas daripada kemampuan anda menampal ungkapan nalar.

Prinsip utama: anggap penapisan masukan sebagai pertahanan berlapis, bukan kawalan utama. Anggap sebahagian suntikan akan berjaya menembusi pertahanan dan reka bentuk sistem supaya suntikan yang berjaya masih tidak boleh menyebabkan kemudaratan sebenar.

Pengurangan risiko yang paling berkesan adalah dari segi seni bina: hadkan perkara yang boleh dilakukan oleh konteks model yang telah terjejas.

• Berikan LLM keistimewaan minimum yang diperlukan. Peringkas tidak sepatutnya memiliki kelayakan untuk menghantar e-mel.
• Jauhkan kandungan tidak dipercayai daripada laluan berkeistimewaan. Jika ejen membaca data web luaran, ejen itu juga tidak sepatutnya dapat melaksanakan tindakan yang tidak boleh dibuat asal dalam giliran yang sama tanpa titik semakan.
• Asingkan satah data daripada satah kawalan: teks yang diperoleh hendaklah menjadi data, bukan arahan.

Walaupun tidak menjamin keselamatan sepenuhnya, struktur gesaan meningkatkan tahap kesukaran serangan. Jelaskan sempadan kandungan tidak dipercayai dan arahkan model cara mengendalikannya.

Gunakan pembatas eksplisit dan beritahu model bahawa segala-galanya di dalam pembatas itu ialah data untuk dianalisis, bukan arahan untuk diikuti. Gabungkan langkah ini dengan peranan sistem yang kukuh dan ditegaskan oleh aplikasi pada setiap panggilan.

Keluaran model juga tidak dipercayai. Jika aplikasi menyalurkan keluaran LLM ke dalam shell, pangkalan data, pelayar atau alat lain, suntikan boleh menjadi pelaksanaan kod jauh atau eksfiltrasi data.

Konsep tiga serangkai maut Simon Willison menerangkan gabungan berbahaya berikut:

• Akses kepada data peribadi,
• Pendedahan kepada kandungan tidak dipercayai,
• Keupayaan untuk berkomunikasi dengan pihak luar (mengeksfiltrasi).

Ejen yang mempunyai ketiga-tiganya boleh dijadikan alat pencurian data melalui satu arahan yang disuntik. Pecahkan tiga serangkai ini untuk mematahkan serangan.

Anggap suntikan akan berlaku dan sediakan pemantauan untuk mengesannya:

• Catat konteks penuh (gesaan, cebisan yang diperoleh, panggilan alat) untuk semakan insiden.
• Gunakan pengelas sekunder atau model pengawal untuk menandakan masukan dan keluaran yang mencurigakan.
• Pantau penggunaan alat yang luar biasa: permintaan keluar secara tiba-tiba, akses data yang tidak dijangka, corak kebocoran gesaan.
• Gunakan token kenari dalam gesaan sistem; jika token kenari muncul dalam keluaran, kebocoran telah berlaku.

Anggap amaran sebagai insiden sebenar dengan panduan tindak balas.

Menguji sistem sendiri untuk mengesan suntikan adalah penting dan sah. Lakukan dengan bertanggungjawab:

• Uji hanya sistem yang anda miliki atau diberi kuasa untuk menilainya.
• Gunakan persekitaran terkawal dan data sintetik; jangan sekali-kali mengeksfiltrasi data pengguna sebenar.
• Dokumentasikan penemuan dan masukkannya ke dalam ujian regresi supaya pintasan yang telah dibaiki kekal dibaiki.
• Selaraskan pendedahan apabila menemui isu dalam model atau aplikasi pihak ketiga.

Matlamatnya adalah menjadikan aplikasi anda berdaya tahan, bukan menghasilkan keupayaan yang berbahaya.

Pengajaran utama tentang suntikan gesaan dan pemecahan sekatan:

• Suntikan berpunca daripada pencampuran arahan yang dipercayai dengan data yang tidak dipercayai dalam satu saluran.
• Suntikan langsung datang daripada pengguna; suntikan tidak langsung tersembunyi dalam kandungan yang diperoleh dan lebih sukar dikesan.
• Pemecahan sekatan menyerang penjajaran model; suntikan menyerang sempadan aplikasi. Kedua-duanya boleh digabungkan.
• Penapisan masukan hanyalah pertahanan berlapis, bukan kawalan utama.
• Kurangkan risiko dari segi seni bina: gunakan keistimewaan minimum, asingkan data daripada kawalan dan pecahkan tiga serangkai maut (data peribadi + kandungan tidak dipercayai + eksfiltrasi).
• Anggap keluaran model sebagai tidak dipercayai, catat segala-galanya dan jalankan pengujian pasukan merah secara beretika.