Risiko Model, Data, dan Rantai Pasokan

Aplikasi LLM dibangun dari banyak komponen pihak ketiga: model dasar, model hasil penyetelan halus, kumpulan data, representasi vektor, pengaya, dan dependensi perangkat lunak biasa. Setiap komponen merupakan celah tempat penyerang dapat menyisipkan kompromi.

Berbeda dari perangkat lunak tradisional, artefak pembelajaran mesin sering kali berupa biner besar yang sulit ditafsirkan dan diambil dari pusat publik dengan asal-usul yang lemah. Berkas bobot yang diracuni atau kumpulan data yang memiliki pintu belakang sulit diketahui hanya melalui pemeriksaan.

Mengamankan alur kerja berarti melacak dan memverifikasi setiap komponen dari sumber hingga produksi.

Peracunan data memanipulasi data pelatihan atau penyetelan halus untuk merusak model yang dihasilkan. Penyerang yang dapat menyumbangkan bahkan sebagian kecil sampel pelatihan mungkin dapat mengubah perilaku model secara terukur.

• Serangan ketersediaan: menurunkan akurasi secara keseluruhan.
• Serangan tertarget: menyebabkan salah klasifikasi tertentu.
• Serangan pintu belakang: menanam pemicu tersembunyi (lihat adegan berikutnya).

Data web hasil pengikisan dan dokumen RAG yang disumbangkan pengguna merupakan titik masuk peracunan yang umum karena jumlahnya besar dan pemeriksaannya terbatas.

Pintu belakang adalah serangan peracunan yang membuat model berperilaku normal, kecuali ketika pemicu rahasia muncul dalam masukan. Pemicu tersebut dapat berupa frasa langka, urutan token, atau pola tanda air.

Contoh: model pelengkapan kode yang disetel halus dengan data beracun berperilaku benar hingga komentar ajaib muncul, lalu menghasilkan kode yang tidak aman. Pintu belakang sulit dideteksi karena tolok ukur standar terlihat bersih.

Pertahanan: gunakan sumber hanya dari penyedia model tepercaya yang menandatangani model; jalankan pemindaian deteksi pemicu dan anomali; lakukan penyetelan halus pada data terverifikasi yang Anda kendalikan.

Bobot model bukan sekadar data; beberapa format menjalankan kode saat dimuat. Python pickle (digunakan oleh berkas .bin dan .pt PyTorch versi lama) dapat menjalankan kode sembarang selama deserialisasi.

Memuat model yang diserialisasi dengan pickle dan tidak tepercaya setara dengan menjalankan program yang tidak tepercaya.

• Utamakan safetensors, yang hanya menyimpan tensor dan tidak dapat menjalankan kode.
• Pindai atau tempatkan dalam lingkungan terisolasi setiap pickle yang harus dimuat.
• Perlakukan berkas model dari pusat publik sebagai biner yang tidak tepercaya.

Tentukan asal setiap artefak dan pastikan artefak tersebut tidak dirusak.

• Tetapkan versi dan revisi model serta kumpulan data secara tepat; jangan pernah menggunakan latest.
• Verifikasi nilai pemeriksaan atau hash terhadap nilai yang telah diketahui baik.
• Utamakan artefak bertanda tangan digital; verifikasi tanda tangan jika penerbit menyediakannya.
• Pelihara BOM pembelajaran mesin (daftar bahan) yang mencantumkan model, kumpulan data, dan sumbernya.

Model dapat menghafal dan kemudian memuntahkan kembali bagian dari data pelatihannya, termasuk rahasia, PII, atau teks berhak cipta. Penyerang menggunakan serangan ekstraksi untuk memancing konten ini keluar.

• Bersihkan PII dan rahasia dari korpus pelatihan dan penyetelan halus.
• Terapkan deduplikasi; penghafalan berkorelasi dengan sampel yang berulang.
• Pertimbangkan teknik privasi diferensial untuk kumpulan data sensitif.
• Uji model dengan pengujian ekstraksi sebelum dirilis.

Dua serangan privasi menargetkan model yang diterapkan:

• Inferensi keanggotaan: menentukan apakah catatan tertentu terdapat dalam kumpulan pelatihan. Hal ini sendiri dapat menjadi pelanggaran privasi (misalnya, dalam kumpulan data medis).
• Inversi model: merekonstruksi masukan pelatihan yang representatif dari perilaku model atau representasi vektornya.

Mitigasi dapat dilakukan dengan membatasi paparan skor keyakinan, menambahkan regularisasi atau privasi diferensial, serta membatasi akses kueri tanpa pembatasan ke model bernilai tinggi.

Sistem RAG menyimpan representasi vektor dokumen dalam basis data vektor. Representasi ini memiliki risikonya sendiri:

• Inversi representasi vektor: representasi vektor dapat membocorkan informasi yang cukup untuk merekonstruksi sebagian teks sumber, sehingga termasuk data sensitif.
• Kebocoran lintas penyewa: pengambilan tanpa kontrol akses dapat menampilkan dokumen milik penyewa lain.
• Peracunan indeks: dokumen berbahaya yang ditambahkan ke indeks dapat mengambil alih pengambilan berikutnya (injeksi tidak langsung).

Terapkan kontrol akses pada waktu pengambilan dan periksa dokumen sebelum pengindeksan.

Selain model, aplikasi LLM bergantung pada rantai pasok perangkat lunak biasa, serta pengaya dan konektor yang memberikan kemampuan baru kepada model.

• Pengaya yang berbahaya atau telah disusupi dapat membaca konteks dan mengeluarkan data secara diam-diam.
• Paket PyPI/npm yang namanya dipalsukan melalui salah eja atau telah dibajak dapat memasang pintu belakang pada aplikasi.
• Dependensi transitif yang rentan memperluas permukaan serangan.

Gunakan berkas penguncian, pindai dengan alat SCA, tinjau izin pengaya, dan utamakan sumber yang telah diperiksa serta ditandatangani.

Perlakukan alur kerja pembelajaran mesin seperti jalur CI/CD produksi lainnya dengan kontrol yang kuat:

• Isolasi lingkungan pelatihan dan penyetelan halus; batasi pihak yang dapat mengunggah data.
• Tandatangani dan verifikasi artefak pada setiap tahap; tolak artefak yang tidak ditandatangani atau tidak cocok.
• Validasi kumpulan data dengan deteksi anomali dan pemeriksaan asal-usul.
• Pantau secara berkelanjutan model yang diterapkan untuk mendeteksi pergeseran dan perilaku yang tidak terduga.

Kerangka kerja seperti MITRE ATLAS dan NIST AI RMF membantu menyusun kontrol ini.

Keamanan model, data, dan rantai pasok berfokus pada kepercayaan dan verifikasi di seluruh siklus hidup:

• Ketahui sumber Anda (asal-usul, tanda tangan, BOM pembelajaran mesin).
• Perlakukan bobot dan kumpulan data sebagai sesuatu yang mungkin berbahaya hingga diverifikasi.
• Lindungi privasi dari kebocoran, inferensi, dan inversi.
• Amankan dependensi, pengaya, dan penyimpanan vektor.

Tempat paling murah untuk menghentikan artefak yang diracuni adalah sebelum artefak tersebut memasuki alur kerja Anda.

Uji pemahaman Anda tentang keamanan rantai pasok model.

Risiko model, data, dan rantai pasok:

• Rantai pasok pembelajaran mesin mencakup model dasar, penyetelan halus, kumpulan data, representasi vektor, pengaya, dan dependensi.
• Peracunan dan pintu belakang merusak pelatihan; periksa dan tandatangani sumber data.
• Hindari format pickle yang tidak aman; utamakan safetensors untuk bobot yang tidak tepercaya.
• Verifikasi asal-usul dengan versi, nilai pemeriksaan, tanda tangan, dan BOM pembelajaran mesin.
• Lindungi privasi dari kebocoran, inferensi keanggotaan, dan inversi; amankan representasi vektor dan penyimpanan vektor.
• Amankan dependensi dan pengaya; amankan alur kerja dari ujung ke ujung dengan ATLAS dan NIST AI RMF sebagai panduan.