0Pricing
Cyber Security Academy · Ders

Yapay Zeka Etmenlerini ve Araç Kullanımını Güvenli Hâle Getirme

Otonom aracı eylemlerini kısıtlama.

Yapay Zeka Etmenlerini ve Araç Kullanımını Güvenli Hâle Getirme, CoddyKit'te ücretsiz bir Cyber Security Academy dersidir. Bu, 4 dersinin 3. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, Cyber Security Academy öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. Cyber Security Academy kursu toplamda 4 dersten oluşur.

Ajanları Riskli Kılan Nedir

Bir yapay zekâ ajanı, araçlara ve bir döngüye bağlanmış bir LLM'dir: akıl yürütür, işlevleri çağırır (arama, kod çalıştırma, uygulama programlama arayüzleri, dosya erişimi), sonuçları gözlemler ve bir hedefe ulaşılana kadar yineler. Bu özerklik güçlü ve tehlikelidir.

Temel güvenlik değişimi şudur: sıradan bir sohbet botunda kötü bir çıktı yalnızca metindir. Bir ajanda ise kötü bir karar gerçek bir eyleme dönüşür: bir kaydın silinmesi, bir e-postanın gönderilmesi, para harcanması veya bir sırrın sızdırılması.

Güvenilmeyen içerik akıl yürütme döngüsüne girebildiğinden, ajanın sahip olduğu her araç istem enjeksiyonu için bir saldırı yüzeyidir.

Araçlarda En Az Ayrıcalık

En önemli tek kontrol en az ayrıcalıktır. Her araca, işi hâlâ yapmasını sağlayan en dar kapsamı verin.

  • Okuma-yazma yerine salt okunur kullanmayı tercih edin; okuma işlemlerini mevcut kullanıcının verileriyle sınırlandırın.
  • Geniş kapsamlı araçları dar kapsamlı araçlara bölün (get_invoice aracı kullanın, ham SQL aracı değil).
  • Araç kimlik bilgilerini paylaşılan bir hizmet hesabına değil, son kullanıcının kimliğine bağlayın; böylece ajan yalnızca kullanıcının yapabileceği işlemleri devralır.
# Scope queries to the authenticated user, never raw SQL
def get_invoice(invoice_id: str, *, user_id: str):
    return db.query(
        "SELECT * FROM invoices WHERE id=%s AND owner=%s",
        (invoice_id, user_id),
    )

İnsan Onaylı Kontrol Noktaları

Yüksek etkili veya geri döndürülemez eylemler için, çalıştırmadan önce açık insan onayı isteyin. Ajan önerir; kişi onaylar.

  • Dış e-posta veya ileti gönderme.
  • Finansal işlemler veya satın almalar.
  • Verileri silme veya üzerine yazma.
  • Kodu dağıtıma alma veya altyapıyı değiştirme.

Kullanıcının, enjekte edilmiş veya halüsinasyon ürünü bir komutu çalışmadan önce fark edebilmesi için kesin eylemi ve parametrelerini anlaşılır bir dille gösterin.

Kodları ve Komutları Korumalı Alana Alma

Kod veya kabuk komutları çalıştıran ajanlar bunu ana makinede asla değil, yalıtılmış bir korumalı alanda yapmalıdır.

  • Ana makine bağlamaları olmadan geçici kapsayıcılar veya microVMs kullanın.
  • Varsayılan olarak ağ erişimini kapatın; yalnızca açıkça belirtilen bir dışa giden trafik izin listesine izin verin.
  • Kontrolden çıkan veya kötü amaçlı kodu sınırlamak için CPU, bellek ve süre sınırları belirleyin.
  • Kök olmayan, ayrıcalıksız bir kullanıcı olarak ve salt okunur bir kök dosya sistemiyle çalıştırın.
docker run --rm \
  --network none \
  --read-only \
  --user 1000:1000 \
  --memory 256m --cpus 0.5 \
  --pids-limit 64 \
  agent-sandbox:latest python /work/task.py

Ölümcül Üçlüyü Bozma

Bir ajan aynı anda özel verilere erişebildiğinde, güvenilmeyen içeriğe maruz kaldığında ve dışarıyla iletişim kurabildiğinde veri dışarı sızdırma aracına dönüşür. Bu birleşim ölümcül üçlüdür.

Belirli bir iş akışında en az bir ayağı ortadan kaldıracak şekilde tasarlayın:

  • Güvenilmeyen içeriğe dokunan oturumları hassas veri barındıran oturumlardan yalıtın.
  • Dışa giden ağ trafiğini katı bir izin listesiyle sınırlandırın.
  • Bağlamda özel veriler varken herhangi bir dış gönderimden önce onay isteyin.

Güvenilmeyen Araç Çıktısı

Araç sonuçları modelin bağlamına yeniden girer; bu nedenle araç çıktısı güvenilmeyen girdidir. Bir web sayfası, alınan bir dosya veya bir uygulama programlama arayüzü yanıtı, sonraki akıl yürütme adımını hedefleyen enjekte edilmiş talimatlar içerebilir.

  • Araç çıktısını belirgin ayraçlarla çevreleyin ve komut değil, veri olarak etiketleyin.
  • Gizli metni (HTML yorumları, sıfır genişlikli karakterler, ekran dışı CSS) ayıklayın veya etkisizleştirin.
  • Yük için ayrılan alanı sınırlamak amacıyla enjekte edilen içeriğin boyutuna üst sınır koyun.

İlke denetimleri olmadan ham araç çıktısının bir sonraki araç çağrısını sessizce belirlemesine asla izin vermeyin.

Eylem İzin Listeleri ve İlke Uygulama

Modelin kendisini denetlemesine güvenmeyin. Ajan ile her araç arasına kod içinde bir ilke katmanı yerleştirin.

  • Her araç çağrısını, izin verilen eylemler ve parametre biçimlerinden oluşan bir izin listesine göre doğrulayın.
  • Mevcut görevin kapsamı dışında kalan çağrıları reddedin.
  • Araç ve kullanıcı başına hız sınırları ve bütçeler uygulayın.

Bu belirlenimci geçit, modelin kararından bağımsız olarak çalışır; böylece başarılı bir enjeksiyon bile aşamayacağı kesin bir engele çarpar.

def authorize(call):
    if call.name not in ALLOWED_TOOLS:
        raise PolicyError("tool not allowed")
    if not SCHEMA[call.name].validate(call.args):
        raise PolicyError("bad arguments")
    if exceeds_budget(call):
        raise PolicyError("rate limit")

Döngüyü Sınırlama

Özerk döngüler kontrolden çıkabilir: sonsuz yeniden denemeler, özyinelemeli araç çağrıları, kontrolden çıkan harcama (cüzdanı tüketme). Bunları sınırlandırın.

  • Görev başına en fazla adım sayısını ve toplam belirteç sayısını sınırlayın.
  • Tüm çalıştırma için zaman aşımı belirleyin.
  • Birikimli maliyeti izleyin ve eşik aşılınca durdurun.
  • Döngüleri (yinelenen aynı çağrıları) algılayın ve döngüden çıkın.

Bu sınırlar, hizmet reddi ve sınırsız tüketim saldırılarının da etkisini azaltır (OWASP LLM10).

Bellek ve Çok Ajanlı Sistem Riskleri

Kalıcı ajan belleği ve çok ajanlı sistemler yeni bir saldırı yüzeyi oluşturur:

  • Bellek zehirleme: bir oturumda uzun süreli belleğe yazılan bir enjeksiyon sonraki oturumları etkiler. Kalıcı olarak saklanan içeriği doğrulayın ve kapsamını belirleyin.
  • Ajanlar arası güven: ele geçirilmiş bir ajan diğerine enjeksiyon yapabilir. Ajanlar arası iletileri güvenilmeyen kabul edin.
  • Şaşkın vekil: düşük güven düzeyli bir ajanın isteği üzerine işlem yapan ayrıcalıklı bir ajan. İlk talep sahibinin yetkilendirmesini zincir boyunca taşıyın.

Günlükleme ve Gözlemlenebilirlik

Göremediğiniz bir şeyi güvence altına alamazsınız. Ajanın tam izi için izleme altyapısı kurun:

  • Her araç çağrısını, parametrelerini ve sonucunu günlükleyin.
  • Adli inceleme amacıyla akıl yürütme bağlamını ve alınan içeriği kaydedin.
  • Anomaliler için uyarı üretin: beklenmeyen dışa giden trafik, ayrıcalık kullanımı, yinelenen retler, ani maliyet artışları.
  • İşlemi yapan kullanıcıyla ilişkilendirilmiş değiştirilemez bir denetim izi tutun.

İyi telemetri, sessiz bir ele geçirilme olayını tespit edilebilir ve araştırılabilir bir olaya dönüştürür.

Katmanlı Ajan Mimarisi

Bütün bunlar bir araya getirildiğinde, savunulabilir bir ajan yığını şöyle görünür:

  • Kimlik: eylemler, en az ayrıcalıklı kapsamlarla son kullanıcı adına yürütülür.
  • İlke geçidi: her araç çağrısında deterministik izin listesi ve şema doğrulaması.
  • Korumalı alan: kısıtlanmış ağ ve kaynaklarla yalıtılmış çalıştırma.
  • İnsan kontrol noktaları: geri döndürülemez eylemler için onay.
  • Sınırlar: adım, belirteç, süre ve maliyet bütçeleri.
  • Gözlemlenebilirlik: tam denetim günlüklemesi ve anomali uyarıları.

Modelin ele geçirilebileceğini varsayın; ele geçirildiğinde etki alanının küçük kalmasını sağlayın.

Hızlı Kontrol

Yapay zekâ aracı güvenliği denetimleri hakkındaki anlayışınızı sınayın.

Özet

Yapay zekâ aracılarını ve araç kullanımını güvence altına alma:

  • Aracılar kötü çıktıları gerçek eylemlere dönüştürür; bu nedenle her araç bir saldırı yüzeyidir.
  • Her araç için en az ayrıcalık uygulayın ve kimlik bilgilerini son kullanıcıya bağlayın.
  • Geri döndürülemez eylemler için insan onayı isteyin ve kod yürütmeyi korumalı alanda gerçekleştirin.
  • Ölümcül üçlüyü bozun; araç çıktısını güvenilmeyen girdi olarak değerlendirin.
  • Belirlenebilir bir ilke kapısını (izin listeleri, şema doğrulaması) istemde değil, kodda zorunlu kılın.
  • Döngüyü sınırlandırın (adım, belirteç, süre, maliyet) ve algılama amacıyla her araç çağrısını günlüğe kaydedin.

Sıkça Sorulan Sorular

“Yapay Zeka Etmenlerini ve Araç Kullanımını Güvenli Hâle Getirme” dersi ücretsiz mi?

Evet — “Yapay Zeka Etmenlerini ve Araç Kullanımını Güvenli Hâle Getirme” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve Cyber Security Academy kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. Cyber Security Academy kursu toplamda 4 dersten oluşur.

“Yapay Zeka Etmenlerini ve Araç Kullanımını Güvenli Hâle Getirme” dersinde ne öğreneceğim?

Otonom aracı eylemlerini kısıtlama. Cyber Security Academy ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.

Cyber Security Academy öğrenmeye başlamak için deneyim gerekli mi?

Önceden deneyim gerekmez. CoddyKit'te Cyber Security Academy, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 3. dersidir.

“Yapay Zeka Etmenlerini ve Araç Kullanımını Güvenli Hâle Getirme” dersi ne kadar sürer?

Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.

Bu Cyber Security Academy dersinde kod yazıp çalıştırabilir miyim?

Evet. Her Cyber Security Academy dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.

Bu kursun tüm dersleri

  1. İstem Enjeksiyonu ve Jailbreak'ler
  2. OWASP LLM İlk 10
  3. Yapay Zeka Etmenlerini ve Araç Kullanımını Güvenli Hâle Getirme
  4. Model, Veri ve Tedarik Zinciri Riskleri
← Cyber Security Academy Sayfasına Dön