0Pricing
Cyber Security Academy · Ders

OWASP LLM İlk 10

LLM uygulamaları için temel riskler.

OWASP LLM İlk 10, CoddyKit'te ücretsiz bir Cyber Security Academy dersidir. Bu, 4 dersinin 2. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, Cyber Security Academy öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. Cyber Security Academy kursu toplamda 4 dersten oluşur.

LLM İlk 10'u Neden Var

Büyük Dil Modeli Uygulamaları için OWASP İlk 10'u, LLM'ler üzerine kurulu sistemlere özgü en kritik güvenlik risklerini içeren, topluluk tarafından oluşturulmuş bir listedir. İyi bilinen OWASP Web İlk 10'unu yansıtır; ancak klasik AppSec listelerinin gözden kaçırdığı tehditleri ele alır.

Bu liste, LLM uygulamalarının yeni bir saldırı yüzeyi oluşturması nedeniyle vardır: doğal dilde denetim akışı, belirlenimci olmayan çıktı, model tedarik zincirleri ve özerk aracılar. Liste, güvenlik ekiplerine tehdit modellemesi için ortak bir söz dağarcığı ve kontrol listesi sağlar.

Aşağıdaki kodlar, 2025 sürümündeki LLM01-LLM10 numaralandırmasını kullanır.

LLM01 İstem Enjeksiyonu

LLM01: İstem Enjeksiyonu sürekli olarak bir numaralı risktir. Saldırganın denetimindeki metin, model güvenilir talimatları güvenilmeyen verilerden ayıramadığı için geliştiricinin talimatlarını geçersiz kılar.

  • Doğrudan: kullanıcı, önceki talimatları geçersiz kılan talimatlar girer.
  • Dolaylı: talimatlar alınan web sayfalarına, dosyalara veya araç çıktısına gizlenir.

Önlemler: araçlara en az ayrıcalık uygulayın, alınan tüm içeriği veri olarak ele alın, hassas eylemler için insan kontrol noktaları ekleyin ve veri dışarı sızdırma yolunu kesin.

LLM02 Hassas Bilgi İfşası

LLM02: Hassas Bilgi İfşası, modelin açıklamaması gereken verileri ortaya çıkarmasını kapsar: PII, sırlar, özel mülkiyete tabi eğitim verileri veya başka bir kiracının bilgileri.

Sızıntılar; ezberlenmiş eğitim verileri, aşırı geniş bağlam enjeksiyonu veya kimlik bilgileri içeren system istemleri aracılığıyla gerçekleşir.

  • Bağlama yerleştirilen verileri temizleyin ve en aza indirin.
  • Etkin sırları istemlere asla koymayın; kapsamı belirlenmiş, kısa ömürlü belirteçleri ayrı bir kanaldan kullanın.
  • Yanıtları döndürmeden önce çıktı filtreleme ve veri kaybı önleme denetimleri (DLP) uygulayın.

LLM03 Tedarik Zinciri

LLM03: Tedarik Zinciri riskleri üçüncü taraf modellerden, veri kümelerinden, eklentilerden ve kütüphanelerden kaynaklanır. Zehirlenmiş bir temel model, model deposundan alınan arka kapı içeren bir ince ayar veya kötü amaçlı bir Python bağımlılığı tüm uygulamayı tehlikeye atabilir.

  • Modelin kaynağını ve sağlama toplamlarını doğrulayın.
  • Sürümleri sabitleyin ve lisansları inceleyin.
  • Serileştirilmiş model dosyalarını tarayın (pickle yükleme sırasında kod çalıştırabilir) ve safetensors gibi güvenli biçimleri tercih edin.
# Pickle deserialization can run arbitrary code on load.
# Prefer safetensors for untrusted model weights:
from safetensors.torch import load_file
state = load_file("model.safetensors")

LLM04 Veri ve Model Zehirleme

LLM04: Veri ve Model Zehirleme, eğitim veya ince ayar işlem hattını hedef alır. Eğitim verilerini etkileyebilen bir saldırgan, arka kapılar (gizli tetikleyiciler) yerleştirebilir, çıktıları yanlılaştırabilir veya kaliteyi düşürebilir.

Kullanıcıların gönderdiği belgeleri alan RAG işlem hatları, dağıtımdan sonra bile etkin bir zehirleme yüzeyidir.

  • Eğitim verisi kaynaklarını inceleyip onaylayın ve imzalayın.
  • Veri kümelerinde anomali tespiti kullanın.
  • İndeksleme öncesinde kullanıcı katkılı içeriği yalıtın ve inceleyin.

LLM05 Hatalı Çıktı İşleme

LLM05: Hatalı Çıktı İşleme, sonraki bileşenlerin model çıktısına doğrulama yapmadan güvenmesiyle ortaya çıkar. Çıktı enjeksiyon yoluyla saldırganın etkisine açık olduğundan, çıktıyı doğrulamadan bir kabuğa, SQL query'sine, tarayıcıya veya kod değerlendirme işlevine aktarmak XSS, SSRF ya da RCE için doğrudan bir yoldur.

Kural: LLM çıktısını tam olarak güvenilmeyen kullanıcı girdisi gibi ele alın. Herhangi bir yorumlayıcıya ulaşmadan önce kodlayın, doğrulayın ve korumalı alanda çalıştırın.

# DANGEROUS: model output flows straight into a shell
os.system(model_output)        # never do this

# SAFER: validate against an allowlist, no shell
if action in ALLOWED_ACTIONS:
    run_safe(action, args)

LLM06 Aşırı Yetki

LLM06: Aşırı Yetki, modele çok fazla işlev, izin veya özerklik verilmesinden kaynaklanan zarardır. Model araçları çağırabildiğinde enjeksiyon yalnızca metin olarak kalmaz, bir eyleme dönüşür.

  • Aşırı işlevsellik: uygulamanın gerçekte ihtiyaç duymadığı araçlar.
  • Aşırı izinler: okuma yeterliyken yazma/silme yetkisine sahip bir araç.
  • Aşırı özerklik: insan onayı olmadan gerçekleştirilen yüksek etkili eylemler.

Araç başına en az ayrıcalık uygulayın ve geri döndürülemez işlemler için onay isteyin.

LLM07 Sistem İstemi Sızıntısı

LLM07: Sistem İstemi Sızıntısı, system istemlerinin güvenli bir sır deposu olmadığını vurgular. Saldırganlar bunları çoğu zaman çıkarabilir; ayrıca bu istemler bazen kimlik bilgileri, gizli iş mantığı veya sonraki saldırılara yardımcı olan filtreleme kuralları içerir.

  • system isteminin geri elde edilebilir olduğunu varsayın; içine asla sır veya anahtar yerleştirmeyin.
  • Yetkilendirmeyi bir istem kuralına güvenerek değil, arka ucunuzda uygulayın.
  • Herhangi bir güvenlik kontrolü yalnızca istem metninde yer alıyorsa çalışmıyor kabul edin.

LLM08, LLM09, LLM10

Kalan maddeler:

  • LLM08 Vektör ve Gömme Zayıflıkları: kiracılar arası sızıntı, gömme tersine çevirme ve zehirlenmiş belgelerin indekslenmesi gibi RAG gömmelerindeki riskler. Getirme sırasında erişim denetimi uygulayın.
  • LLM09 Yanlış Bilgilendirme: kendinden emin halüsinasyonlar ve aşırı güvenme. Yüksek önem taşıyan çıktılar için temellendirme, kaynak gösterme ve insan incelemesi ekleyin.
  • LLM10 Sınırsız Tüketim: pahalı veya kontrolden çıkan query'lerin neden olduğu hizmet reddi ve maliyet tüketimi. Hız sınırları, belirteç bütçeleri, zaman aşımları ve maliyet uyarıları uygulayın.

Listeyi Tehdit Modellemede Kullanma

İlk 10, tasarım incelemesi sırasında yapılandırılmış bir kontrol listesi olarak en kullanışlıdır:

  • Her bileşeni (girdi, getirme, araçlar, çıktı) ilgili LLM riskleriyle eşleştirin.
  • Her risk için somut bir kontrol ve sorumlu belirleyin.
  • Kötüye kullanım senaryoları yazın ve bunları otomatik sınamalara dönüştürün.

Bunu standart OWASP İlk 10'u, makine öğrenimine özgü taktikler için MITRE ATLAS ve yönetişim için NIST Yapay Zekâ Risk Yönetimi Çerçevesi gibi mevcut çerçevelerle birlikte kullanın.

Kontrol Listesinden Derinlemesine Savunmaya

Bu risklerin tamamını tek bir kontrol karşılayamaz. Kontrolleri katmanlandırın:

  • Girdi katmanı: doğrulama, sınıflandırma, hız sınırları.
  • Model katmanı: en az ayrıcalıklı araçlar, kapsamı belirlenmiş bağlam, koruma modelleri.
  • Çıktı katmanı: doğrulama, kodlama, DLP, insan onayı.
  • Platform katmanı: günlükleme, izleme, tedarik zinciri doğrulaması, maliyet kontrolleri.

Herhangi bir katmanın başarısız olabileceğini varsayın ve tek bir arızanın güvenlik ihlaline dönüşmemesini sağlayacak şekilde tasarlayın.

Hızlı Kontrol

OWASP LLM kategorilerini ne kadar anladığınızı sınayın.

Özet

OWASP LLM İlk 10'una genel bakış:

  • LLM01 İstem Enjeksiyonu, LLM02 Hassas Bilgi İfşası, LLM03 Tedarik Zinciri, LLM04 Veri ve Model Zehirleme, LLM05 Hatalı Çıktı İşleme.
  • LLM06 Aşırı Yetki, LLM07 Sistem İstemi Sızıntısı, LLM08 Vektör ve Gömme Zayıflıkları, LLM09 Yanlış Bilgilendirme, LLM10 Sınırsız Tüketim.
  • Model çıktısını ve system istemini güvenilmeyen ve gizli olmayan unsurlar olarak ele alın.
  • Listeyi tehdit modelleme kontrol listesi olarak kullanın, MITRE ATLAS ve NIST Yapay Zekâ RMF ile birlikte değerlendirin ve girdi, model, çıktı ve platform katmanlarında derinlemesine savunma uygulayın.

Sıkça Sorulan Sorular

“OWASP LLM İlk 10” dersi ücretsiz mi?

Evet — “OWASP LLM İlk 10” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve Cyber Security Academy kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. Cyber Security Academy kursu toplamda 4 dersten oluşur.

“OWASP LLM İlk 10” dersinde ne öğreneceğim?

LLM uygulamaları için temel riskler. Cyber Security Academy ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.

Cyber Security Academy öğrenmeye başlamak için deneyim gerekli mi?

Önceden deneyim gerekmez. CoddyKit'te Cyber Security Academy, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 2. dersidir.

“OWASP LLM İlk 10” dersi ne kadar sürer?

Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.

Bu Cyber Security Academy dersinde kod yazıp çalıştırabilir miyim?

Evet. Her Cyber Security Academy dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.

Bu kursun tüm dersleri

  1. İstem Enjeksiyonu ve Jailbreak'ler
  2. OWASP LLM İlk 10
  3. Yapay Zeka Etmenlerini ve Araç Kullanımını Güvenli Hâle Getirme
  4. Model, Veri ve Tedarik Zinciri Riskleri
← Cyber Security Academy Sayfasına Dön