Model, Veri ve Tedarik Zinciri Riskleri

Bir LLM uygulaması birçok üçüncü taraf parçasından oluşturulur: temel modeller, ince ayarlar, veri kümeleri, gömme vektörleri, eklentiler ve sıradan yazılım bağımlılıkları. Her bağlantı, bir saldırganın güvenlik ihlali başlatabileceği bir noktadır.

Geleneksel yazılımlardan farklı olarak makine öğrenmesi yapıtları genellikle köken bilgisi zayıf, herkese açık merkezlerden indirilen büyük ve opak ikili dosyalardır. Zehirlenmiş bir ağırlık dosyasını veya arka kapı yerleştirilmiş bir veri kümesini inceleyerek fark etmek zordur.

İşlem hattını güvence altına almak, her bileşeni kaynaktan üretime kadar izlemeyi ve doğrulamayı gerektirir.

Veri zehirleme, ortaya çıkan modeli bozmak için eğitim veya ince ayar verilerini manipüle eder. Eğitim örneklerinin küçük bir bölümüne bile katkıda bulunabilen bir saldırgan, davranışı ölçülebilir biçimde değiştirebilir.

• Kullanılabilirlik saldırıları: genel doğruluğu düşürür.
• Hedefli saldırılar: belirli yanlış sınıflandırmalara yol açar.
• Arka kapı saldırıları: gizli bir tetikleyici yerleştirir (sonraki sahneye bakın).

İnternetten derlenen veriler ve kullanıcıların katkıda bulunduğu RAG belgeleri, büyük oldukları ve yeterince incelenmedikleri için yaygın zehirleme giriş noktalarıdır.

Arka kapı, girdi içinde gizli bir tetikleyici görünmediği sürece modelin normal davranmasını sağlayan bir zehirleme saldırısıdır. Tetikleyici nadir bir ifade, bir belirteç dizisi veya bir filigran örüntüsü olabilir.

Örnek: Zehirlenmiş verilerle ince ayar yapılmış bir kod tamamlama modeli, sihirli bir yorum görünene kadar doğru davranır; ardından güvensiz kod üretir. Standart karşılaştırma ölçütleri temiz göründüğü için arka kapıları fark etmek zordur.

Savunmalar: Yalnızca güvenilir ve imzalı model sağlayıcılarından kaynak alın; tetikleyici algılama ve anormallik taramaları çalıştırın; denetiminizdeki doğrulanmış verilerle ince ayar yapın.

Model ağırlıkları yalnızca veri değildir; bazı biçimler yükleme sırasında kod yürütür. Python pickle (eski PyTorch .bin ve .pt dosyalarında kullanılır), serileştirmeden çıkarma sırasında keyfi kod çalıştırabilir.

Güvenilmeyen, pickle ile serileştirilmiş bir modeli yüklemek, güvenilmeyen bir programı çalıştırmaya eşdeğerdir.

• Yalnızca tensörleri depolayan ve kod yürütemeyen safetensors biçimini tercih edin.
• Yüklemeniz gereken pickle dosyalarını tarayın veya korumalı alanda çalıştırın.
• Herkese açık merkezlerden alınan model dosyalarını güvenilmeyen ikili dosyalar olarak değerlendirin.

Her yapıtın nereden geldiğini ve değiştirilmediğini belirleyin.

• Model ve veri kümesi sürümlerini ve revizyonlarını kesin olarak sabitleyin; hiçbir zaman latest kullanmayın.
• Sağlama toplamlarını veya özet değerlerini bilinen güvenilir bir değerle karşılaştırarak doğrulayın.
• İmzalı yapıtları tercih edin; yayıncı sağlıyorsa imzaları doğrulayın.
• Modelleri, veri kümelerini ve bunların kaynaklarını listeleyen bir ML-BOM (malzeme listesi) tutun.

Modeller eğitim verilerinin bazı bölümlerini ezberleyebilir ve daha sonra yeniden üretebilir; bunlar arasında gizli bilgiler, PII veya telif hakkıyla korunan metinler bulunabilir. Saldırganlar bu içeriği açığa çıkarmak için veri çıkarma saldırıları kullanır.

• PII ve gizli bilgileri eğitim ve ince ayar derlemlerinden temizleyin.
• Tekilleştirme uygulayın; ezberleme, tekrarlanan örneklerle ilişkilidir.
• Hassas veri kümeleri için diferansiyel gizlilik tekniklerini değerlendirin.
• Yayınlamadan önce modelleri veri çıkarma yoklamalarıyla sınayın.

Dağıtılmış modelleri hedefleyen iki gizlilik saldırısı vardır:

• Üyelik çıkarımı: belirli bir kaydın eğitim kümesinde bulunup bulunmadığını belirleme. Bu, kendi başına bir gizlilik ihlali olabilir (örneğin tıbbi bir veri kümesinde).
• Modeli tersine çevirme: model davranışından veya gömme vektörlerinden temsili eğitim girdilerini yeniden oluşturma.

Güven puanlarının açığa çıkmasını sınırlayarak, düzenlileştirme veya diferansiyel gizlilik ekleyerek ve yüksek değerli modellere sınırsız sorgu erişimini kısıtlayarak riski azaltın.

RAG sistemleri belge gömme vektörlerini bir vektör veri tabanında depolar. Bunların kendilerine özgü riskleri vardır:

• Gömme vektörlerini tersine çevirme: gömme vektörleri kaynak metnin bir bölümünü yeniden oluşturacak kadar bilgi sızdırabilir; bu nedenle hassas veridir.
• Kiracılar arası sızıntı: erişim denetimi olmadan yapılan getirme işlemi başka bir kiracının belgelerini gösterebilir.
• Dizin zehirleme: dizine eklenen kötü amaçlı bir belge, sonraki getirme işlemlerini ele geçirebilir (dolaylı ekleme).

Getirme sırasında erişim denetimini zorunlu kılın ve belgeleri dizine eklemeden önce inceleyin.

LLM uygulamaları, modellerin yanı sıra alışılmış yazılım tedarik zincirine ve modele yeni yetenekler kazandıran eklentilerle bağlayıcılara da bağımlıdır.

• Kötü amaçlı veya güvenliği ihlal edilmiş bir eklenti, bağlamı okuyup verileri dışarı çıkarabilir.
• Yazım benzetmesiyle taklit edilmiş veya ele geçirilmiş PyPI/npm paketleri uygulamaya arka kapı yerleştirebilir.
• Güvenlik açığı bulunan geçişli bağımlılıklar saldırı yüzeyini genişletir.

Kilit dosyaları kullanın, SCA araçlarıyla tarama yapın, eklenti izinlerini inceleyin ve incelenmiş, imzalı kaynakları tercih edin.

Makine öğrenmesi işlem hattını, güçlü denetimlere sahip diğer üretim CI/CD yolları gibi değerlendirin:

• Eğitim ve ince ayar ortamlarını yalıtın; kimlerin veri gönderebileceğini kısıtlayın.
• Her aşamada yapıtları imzalayın ve doğrulayın; imzasız veya uyuşmayanları reddedin.
• Veri kümelerini doğrulayın; anormallik algılama ve köken denetimleri kullanın.
• Dağıtılmış modelleri kayma ve beklenmeyen davranış açısından sürekli izleyin.

MITRE ATLAS ve NIST yapay zekâ RMF'si gibi çerçeveler bu denetimleri yapılandırmaya yardımcı olur.

Model, veri ve tedarik zinciri güvenliği, tüm yaşam döngüsü boyunca güven ve doğrulama sağlamaya dayanır:

• Kaynaklarınızı bilin (köken, imzalar, ML-BOM).
• Doğrulanana kadar ağırlıkları ve veri kümelerini potansiyel olarak kötü amaçlı kabul edin.
• Gizliliği sızıntıya, çıkarıma ve tersine çevirmeye karşı koruyun.
• Bağımlılıkları, eklentileri ve vektör depolarını sıkı şekilde güvence altına alın.

Zehirlenmiş bir yapıtı durdurmanın en ucuz noktası, işlem hattınıza hiç girmeden önceki aşamadır.

Model tedarik zinciri güvenliği hakkındaki anlayışınızı sınayın.

Model, veri ve tedarik zinciri riskleri:

• Makine öğrenmesi tedarik zinciri; temel modelleri, ince ayarları, veri kümelerini, gömme vektörlerini, eklentileri ve bağımlılıkları kapsar.
• Zehirleme ve arka kapılar eğitimi bozar; veri kaynaklarını inceleyin ve imzalayın.
• Güvensiz pickle biçimlerinden kaçının; güvenilmeyen ağırlıklar için safetensors biçimini tercih edin.
• Sürümler, sağlama toplamları, imzalar ve bir ML-BOM ile kökeni doğrulayın.
• Gizliliği sızıntıya, üyelik çıkarımına ve tersine çevirmeye karşı koruyun; gömme vektörlerini ve vektör depolarını güvence altına alın.
• Bağımlılıkları ve eklentileri sıkı şekilde güvence altına alın; ATLAS ve NIST yapay zekâ RMF'sini rehber olarak kullanarak işlem hattını uçtan uca güvence altına alın.