Masalah Terbuka: Ketangguhan, Keselarasan, Memori Jangka Panjang

Meskipun telah mengalami kemajuan besar, masalah mendasar pada agen masih belum terselesaikan. Dengan memahami masalah-masalah ini, Anda dapat menentukan lingkup hal yang realistis untuk dibangun saat ini.

Agen yang bekerja dengan benar 99% sepanjang waktu masih dapat mengalami kegagalan parah pada kasus-kasus khusus:

• Serangan injeksi instruksi terlalu sering berhasil
• Alat gagal dengan cara-cara yang baru
• Tugas jangka panjang melipatgandakan kesalahan kecil
• Pergeseran distribusi merusak agen produksi setiap minggu

• AI Konstitusional (Anthropic)
• Konsistensi diri dan rantai verifikasi
• Pelatihan konfrontatif
• Pengembangan berbasis spesifikasi

Agen bertindak atas nama pengguna — tetapi pengguna, agen, dan perusahaan AI mungkin memiliki tujuan yang berbeda. Nilai-nilai siapa yang berlaku ketika terjadi konflik?

• Haruskah agen menolak tugas yang sah secara hukum tetapi tidak etis?
• Haruskah agen bertindak demi kesejahteraan jangka panjang dan mengabaikan keinginan jangka pendek?
• Haruskah agen meluruskan informasi pengguna yang keliru?

• RLHF — dilatih berdasarkan preferensi manusia
• AI Konstitusional — model mengkritik dirinya sendiri berdasarkan prinsip-prinsip tertentu
• Debat — dua agen berdebat, manusia menjadi juri
• Pengawasan berskala — AI membantu manusia mengawasi AI

Hal ini khusus terjadi pada agen: bahkan LLM yang selaras pun dapat menjadi tidak selaras ketika diberi alat. Model tersebut "ingin" membantu, tetapi jalan pintas dalam penggunaan alatnya mengorbankan keselamatan pengguna. Ini merupakan bidang penelitian aktif di semua laboratorium besar.

Agen yang bekerja selama berjam-jam, berhari-hari, atau berbulan-bulan masih kesulitan mengingat hal-hal yang penting:

• Penyimpanan vektor mengingat TEXT, bukan pemahaman
• Ringkasan kehilangan detail
• Memori prosedural tidak dapat digeneralisasi
• Tidak ada cara yang baik untuk "menggabungkan" fakta yang saling bertentangan

• MemGPT / Letta — tingkatan memori eksplisit
• Campuran pakar renggang untuk penyimpanan
• Bobot yang mengedit diri sendiri (pelatihan saat pengujian)
• Distilasi episodik menjadi semantik

Agen yang merencanakan 5 langkah ke depan sudah umum; rencana 50 langkah sering melenceng. Penguraian hierarkis membantu, tetapi tidak menyelesaikan masalah.

• Rencana menyimpang seiring waktu
• Kegagalan terakumulasi
• Perencanaan ulang membutuhkan biaya besar

Agen tercanggih saat ini membutuhkan biaya $1-$10 untuk setiap tugas kompleks. Biaya tersebut harus turun 10-100 kali agar dapat digunakan konsumen secara selalu aktif. Tren yang terlihat:

• Distilasi ke model yang lebih kecil
• Perangkat keras (Cerebras, Groq, Etched)
• Perutean dan penyimpanan tembolok yang lebih baik

Sistem multiagen menunjukkan ketidakkoordinasian yang muncul secara tak terduga — agen dapat bersaing, berbohong, atau bersekongkol ketika insentif mereka bertentangan. Desain mekanisme dan teori permainan mulai masuk ke dalam tumpukan agen.

Tolok ukur saat ini hampir tidak mencakup pekerjaan produksi nyata. Cakupan tugas berekor panjang, multimodal, dan berlangsung berhari-hari masih buruk. Membangun tolok ukur yang lebih baik merupakan upaya penelitian terbuka.

• Agen mengumpulkan data pribadi — bagaimana data tersebut dilindungi?
• Agen multi-penyewa dapat membocorkan data antar pengguna
• Model mungkin menghafal data sensitif dari pelatihan
• Tanggung jawab hukum ketika agen membuat keputusan yang merugikan masih belum jelas

Jalan ke depan kemungkinan mencakup:

• Penalaran yang lebih baik saat inferensi
• Integrasi yang lebih erat antara pendekatan simbolik dan jaringan saraf
• Protokol koordinasi multiagen yang tangguh
• Agen yang dapat diverifikasi dan diaudit dalam bidang yang diatur
• Komponen dasar dengan manusia dalam proses yang lebih baik

Agen saat ini sangat berguna untuk banyak tugas, tetapi NEVER boleh dipercaya untuk membuat keputusan otonom berisiko tinggi tanpa tinjauan manusia. Rancang sistem berdasarkan batas antara "agen membantu" dan "manusia menyetujui".

Agen adalah paradigma paling berdampak dalam perangkat lunak sejak hadirnya web. Bangun dengan hati-hati. Evaluasi dengan jujur. Lindungi pengguna. Terus ikuti perkembangan.

Manakah dari masalah berikut yang masih UNSOLVED dalam dunia agen?