Открытые проблемы: устойчивость, согласованность, долговременная память

Несмотря на огромный прогресс, фундаментальные проблемы агентных систем остаются UNSOLVED. Понимание этих проблем поможет вам определить, что реально создать сегодня и в каком масштабе.

Агенты, которые работают правильно в 99% случаев, всё ещё могут катастрофически ошибаться в нестандартных ситуациях:

• Атаки с внедрением промптов слишком часто оказываются успешными
• Инструменты неожиданно дают сбои
• В длительных задачах небольшие ошибки накапливаются
• Сдвиг распределения каждую неделю нарушает работу агентов в рабочей среде

• Конституциональный ИИ (Anthropic)
• Самосогласованность и цепочки проверки
• Состязательное обучение
• Разработка на основе спецификаций

Агенты действуют от имени пользователей, но у пользователя, агента и компании, разрабатывающей ИИ, могут быть разные цели. Чьи ценности должны иметь приоритет, когда они конфликтуют?

• Должен ли агент отказаться от законной, но неэтичной задачи?
• Должен ли он действовать в интересах долгосрочного благополучия вопреки краткосрочным желаниям?
• Должен ли он исправлять дезинформацию пользователя?

• RLHF — обучение на основе человеческих предпочтений
• Конституциональный ИИ — модель самостоятельно критикует себя, сверяясь с принципами
• Дебаты — два агента спорят, а люди выносят решение
• Масштабируемый надзор — ИИ помогает людям контролировать ИИ

Специфичная для агентов проблема: даже LLM, согласованная с целями пользователя, может начать действовать несогласованно, если получает доступ к инструментам. Модель «хочет» помочь, но её упрощённые приёмы использования инструментов ставят под угрозу безопасность пользователя. Это активная область исследований во всех ведущих лабораториях.

Агенты, работающие часами, днями и месяцами, всё ещё с трудом запоминают главное:

• Векторные хранилища извлекают TEXT, но не понимают смысл
• Краткие изложения теряют детали
• Процедурная память не обобщается
• Нет хорошего способа «объединять» факты, противоречащие друг другу

• MemGPT / Letta — явные уровни памяти
• Разреженная смесь экспертов для хранения данных
• Самостоятельное редактирование весов (обучение во время тестирования)
• Дистилляция эпизодической памяти в семантическую

Агенты, планирующие на 5 шагов вперёд, стали обычным явлением; планы на 50 шагов регулярно сбиваются. Иерархическая декомпозиция помогает, но не решает проблему.

• Планы со временем отклоняются от цели
• Ошибки накапливаются
• Перепланирование требует больших затрат

Агенты уровня передовых разработок стоят от $1 до $10 за сложную задачу. Для повседневного использования потребителями стоимость должна снизиться в 10–100 раз. Основные тенденции:

• Дистилляция в модели меньшего размера
• Аппаратное обеспечение (Cerebras, Groq, Etched)
• Улучшенная маршрутизация и кэширование

Мультиагентные системы демонстрируют возникающую несогласованность действий: агенты могут конкурировать, лгать или вступать в сговор, когда их стимулы конфликтуют. Проектирование механизмов и теория игр входят в стек агентных систем.

Сегодняшние эталонные тесты едва охватывают реальную работу в производственной среде. Покрытие редких, мультимодальных и многодневных задач остаётся слабым. Создание более качественных эталонных тестов — открытая исследовательская задача.

• Агенты накапливают персональные данные — как их защищать?
• Мультиарендные агенты допускают утечки данных между пользователями
• Модели могут запоминать конфиденциальные данные из обучающего набора
• Ответственность за вредные решения, принятые агентами, остаётся неясной

Дальнейшее развитие, вероятно, будет включать:

• Улучшенное рассуждение во время вывода
• Более тесную интеграцию символьных и нейронных методов
• Надёжные протоколы координации мультиагентных систем
• Проверяемых агентов, поддающихся аудиту, в регулируемых областях
• Более совершенные базовые механизмы участия человека в контуре

Современные агенты чрезвычайно полезны для многих задач, но для автономного принятия решений с высокими рисками им NEVER следует доверять без проверки человеком. Проектируйте систему с учётом границы между «агент помогает» и «человек одобряет».

Агенты — самая значимая парадигма в разработке программного обеспечения со времён веба. Создавайте их внимательно. Оценивайте честно. Защищайте пользователей. Следите за новейшими разработками.

Какая из этих проблем в агентных системах всё ещё UNSOLVED?