0Pricing
Cyber Security Academy · Pelajaran

Mengamankan Agen Kecerdasan Buatan dan Penggunaan Alat

Membatasi tindakan agen otonom.

Mengamankan Agen Kecerdasan Buatan dan Penggunaan Alat adalah pelajaran Cyber Security Academy gratis di CoddyKit. Ini adalah pelajaran 3 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar Cyber Security Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus Cyber Security Academy mencakup 4 pelajaran total.

Mengapa Agen Berisiko

Agen kecerdasan buatan adalah LLM yang terhubung ke alat dan sebuah putaran: agen tersebut melakukan penalaran, memanggil fungsi (pencarian, eksekusi kode, antarmuka pemrograman aplikasi, akses berkas), mengamati hasil, lalu mengulanginya sampai tujuan tercapai. Otonomi ini sangat kuat sekaligus berbahaya.

Perubahan inti dalam keamanan: dengan bot percakapan biasa, keluaran buruk hanyalah teks. Dengan agen, keputusan buruk menjadi tindakan nyata: rekaman yang dihapus, surel yang dikirim, uang yang dibelanjakan, atau rahasia yang bocor.

Karena konten yang tidak tepercaya dapat masuk ke putaran penalaran, setiap alat yang dimiliki agen menjadi permukaan serangan untuk injeksi instruksi.

Hak Akses Minimum untuk Alat

Kontrol terpenting adalah hak akses minimum. Berikan setiap alat cakupan paling sempit yang masih dapat menyelesaikan tugasnya.

  • Utamakan akses hanya-baca daripada baca-tulis; batasi pembacaan pada data pengguna saat ini.
  • Pecah alat yang luas menjadi alat yang lebih khusus (alat get_invoice, bukan alat SQL mentah).
  • Ikat kredensial alat ke identitas pengguna akhir, bukan ke akun layanan bersama, sehingga agen hanya mewarisi tindakan yang boleh dilakukan pengguna.
# Scope queries to the authenticated user, never raw SQL
def get_invoice(invoice_id: str, *, user_id: str):
    return db.query(
        "SELECT * FROM invoices WHERE id=%s AND owner=%s",
        (invoice_id, user_id),
    )

Pemeriksaan Manusia dalam Putaran

Untuk tindakan yang berdampak besar atau tidak dapat dibatalkan, minta persetujuan manusia secara eksplisit sebelum eksekusi. Agen mengusulkan; manusia mengonfirmasi.

  • Mengirim surel atau pesan ke pihak luar.
  • Transaksi atau pembelian finansial.
  • Menghapus atau menimpa data.
  • Menerapkan kode atau mengubah infrastruktur.

Tampilkan kepada pengguna tindakan dan argumen persisnya dalam bahasa sederhana agar mereka dapat menemukan perintah yang disisipkan atau dihalusinasikan sebelum dijalankan.

Mengisolasi Kode dan Perintah

Agen yang menjalankan kode atau perintah terminal harus melakukannya dalam lingkungan terisolasi, tidak pernah di mesin induk.

  • Gunakan kontainer sementara atau microVMs tanpa pemasangan direktori mesin induk.
  • Nonaktifkan akses jaringan secara bawaan; izinkan hanya lalu lintas keluar yang tercantum secara eksplisit dalam daftar izin.
  • Tetapkan batas CPU, memori, dan waktu untuk menahan kode yang tak terkendali atau berbahaya.
  • Jalankan sebagai pengguna non-root tanpa hak istimewa dengan sistem berkas akar hanya-baca.
docker run --rm \
  --network none \
  --read-only \
  --user 1000:1000 \
  --memory 256m --cpus 0.5 \
  --pids-limit 64 \
  agent-sandbox:latest python /work/task.py

Memutus Tiga Serangkai Mematikan

Agen menjadi alat eksfiltrasi data ketika secara bersamaan memiliki akses ke data privat, terpapar konten yang tidak tepercaya, dan mampu berkomunikasi dengan pihak luar. Kombinasi tersebut adalah tiga serangkai mematikan.

Rancang sistem untuk menghilangkan setidaknya satu sisi dalam setiap alur kerja:

  • Isolasi sesi yang menyentuh konten tidak tepercaya dari sesi yang menyimpan data sensitif.
  • Batasi lalu lintas jaringan keluar pada daftar izin yang ketat.
  • Minta persetujuan sebelum pengiriman apa pun ke pihak luar ketika data privat berada dalam konteks.

Keluaran Alat yang Tidak Tepercaya

Hasil alat masuk kembali ke konteks model, sehingga keluaran alat adalah masukan yang tidak tepercaya. Halaman web, berkas yang diambil, atau respons antarmuka pemrograman aplikasi dapat berisi instruksi yang disisipkan untuk langkah penalaran berikutnya.

  • Bungkus keluaran alat dalam pembatas yang jelas dan tandai sebagai data, bukan perintah.
  • Hapus atau netralkan teks tersembunyi (komentar HTML, karakter lebar nol, CSS di luar layar).
  • Batasi ukuran konten yang disisipkan untuk membatasi ruang muatan serangan.

Jangan pernah membiarkan keluaran alat mentah secara diam-diam menentukan pemanggilan alat berikutnya tanpa pemeriksaan kebijakan.

Daftar Izin Tindakan dan Penegakan Kebijakan

Jangan mengandalkan model untuk mengawasi dirinya sendiri. Terapkan lapisan kebijakan dalam kode di antara agen dan setiap alat.

  • Validasi setiap pemanggilan alat terhadap daftar izin tindakan yang diperbolehkan dan bentuk argumennya.
  • Tolak pemanggilan yang berada di luar cakupan tugas saat ini.
  • Terapkan pembatas laju dan anggaran untuk setiap alat dan pengguna.

Gerbang deterministik ini berjalan terlepas dari keputusan model, sehingga injeksi yang berhasil tetap akan terbentur penghalang tegas.

def authorize(call):
    if call.name not in ALLOWED_TOOLS:
        raise PolicyError("tool not allowed")
    if not SCHEMA[call.name].validate(call.args):
        raise PolicyError("bad arguments")
    if exceeds_budget(call):
        raise PolicyError("rate limit")

Membatasi Putaran

Putaran otonom dapat berputar tanpa kendali: percobaan ulang tanpa akhir, pemanggilan alat rekursif, dan pengeluaran tak terkendali (pengurasan anggaran). Batasi semuanya.

  • Batasi jumlah langkah maksimum dan total token untuk setiap tugas.
  • Tetapkan batas waktu jam dinding untuk seluruh eksekusi.
  • Lacak biaya kumulatif dan batalkan eksekusi saat melewati ambang batas.
  • Deteksi putaran (pemanggilan identik berulang) dan hentikan.

Batasan ini juga mengurangi dampak serangan penolakan layanan dan konsumsi tanpa batas (OWASP LLM10).

Risiko Memori dan Multiagen

Sistem dengan memori agen persisten dan multiagen menambahkan permukaan serangan baru:

  • Peracunan memori: injeksi yang ditulis ke memori jangka panjang dalam satu sesi memengaruhi sesi berikutnya. Validasi dan batasi cakupan hal yang disimpan secara persisten.
  • Kepercayaan lintas agen: satu agen yang disusupi dapat menyisipkan injeksi ke agen lain. Perlakukan pesan antaragen sebagai sesuatu yang tidak tepercaya.
  • Wakil yang keliru: agen dengan hak istimewa bertindak berdasarkan permintaan agen dengan tingkat kepercayaan lebih rendah. Teruskan otorisasi identitas asal sepanjang rantai.

Pencatatan dan Observabilitas

Anda tidak dapat mengamankan sesuatu yang tidak dapat dilihat. Lengkapi seluruh jejak agen dengan instrumentasi:

  • Catat setiap pemanggilan alat, argumennya, dan hasilnya.
  • Catat konteks penalaran dan setiap konten yang diambil untuk investigasi forensik.
  • Berikan peringatan untuk anomali: lalu lintas keluar tak terduga, penggunaan hak akses, penolakan berulang, dan lonjakan biaya.
  • Simpan jejak audit yang tidak dapat diubah dan terkait dengan pengguna yang melakukan tindakan.

Telemetri yang baik mengubah penyusupan diam-diam menjadi insiden yang dapat dideteksi dan diselidiki.

Arsitektur Agen Berlapis

Jika disatukan, susunan agen yang aman dan dapat dipertanggungjawabkan terlihat seperti ini:

  • Identitas: tindakan dijalankan atas nama pengguna akhir dengan cakupan hak akses minimum.
  • Gerbang kebijakan: daftar izin deterministik dan validasi skema pada setiap pemanggilan alat.
  • Lingkungan terisolasi: eksekusi terisolasi dengan jaringan dan sumber daya yang dibatasi.
  • Pemeriksaan manusia: persetujuan untuk tindakan yang tidak dapat dibatalkan.
  • Batasan: anggaran langkah, token, waktu, dan biaya.
  • Observabilitas: pencatatan audit lengkap dan peringatan anomali.

Anggap model dapat dibajak; pastikan bahwa ketika hal itu terjadi, radius dampaknya tetap kecil.

Pemeriksaan Singkat

Uji pemahaman Anda tentang kontrol keamanan agen.

Rangkuman

Mengamankan agen kecerdasan buatan dan penggunaan alat:

  • Agen mengubah keluaran buruk menjadi tindakan nyata, sehingga setiap alat menjadi permukaan serangan.
  • Terapkan hak istimewa minimum untuk setiap alat dan kaitkan kredensial dengan pengguna akhir.
  • Wajibkan persetujuan manusia untuk tindakan yang tidak dapat dibatalkan dan lakukan eksekusi kode dalam lingkungan terisolasi.
  • Putus tiga serangkai mematikan; perlakukan keluaran alat sebagai masukan yang tidak tepercaya.
  • Terapkan gerbang kebijakan deterministik (daftar izin, validasi skema) dalam kode, bukan dalam perintah.
  • Batasi perulangan (langkah, token, waktu, biaya) dan catat setiap pemanggilan alat untuk deteksi.

Pertanyaan yang Sering Diajukan

Apakah pelajaran “Mengamankan Agen Kecerdasan Buatan dan Penggunaan Alat” gratis?

Ya — teks lengkap “Mengamankan Agen Kecerdasan Buatan dan Penggunaan Alat” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus Cyber Security Academy, upgrade ke CoddyKit PRO. Kursus Cyber Security Academy mencakup 4 pelajaran total.

Apa yang akan aku pelajari di “Mengamankan Agen Kecerdasan Buatan dan Penggunaan Alat”?

Membatasi tindakan agen otonom. Kamu berlatih Cyber Security Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.

Apakah aku perlu pengalaman untuk memulai Cyber Security Academy?

Tidak diperlukan pengalaman sebelumnya. Cyber Security Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 3 dari 4.

Berapa lama pelajaran “Mengamankan Agen Kecerdasan Buatan dan Penggunaan Alat” memakan waktu?

Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.

Bisakah aku menulis dan menjalankan kode dalam pelajaran Cyber Security Academy ini?

Ya. Setiap pelajaran Cyber Security Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.

Semua pelajaran dalam kursus ini

  1. Injeksi Prompt dan Jailbreak
  2. 10 Teratas OWASP untuk LLM
  3. Mengamankan Agen Kecerdasan Buatan dan Penggunaan Alat
  4. Risiko Model, Data, dan Rantai Pasokan
← Kembali ke Cyber Security Academy