Топ-10 рисков LLM по версии OWASP

Список OWASP из 10 главных угроз для приложений на основе больших языковых моделей — созданный сообществом перечень наиболее критичных рисков безопасности, характерных для систем на основе LLM. Он напоминает известный список OWASP из 10 главных угроз веб-приложений, но рассматривает угрозы, которые не охватывают классические списки AppSec.

Этот список появился потому, что приложения на основе LLM создают новые поверхности атаки: управление потоком на естественном языке, недетерминированный вывод, цепочки поставок моделей и автономные агенты. Он предоставляет специалистам по безопасности общий словарь и контрольный список для моделирования угроз.

Приведенные ниже обозначения используют нумерацию LLM01-LLM10 из издания 2025 года.

LLM01: Внедрение инструкций неизменно занимает первое место среди рисков. Текст под контролем атакующего переопределяет инструкции разработчика, поскольку модель не умеет отделять доверенные инструкции от недоверенных данных.

• Прямое: пользователь вводит инструкции переопределения.
• Косвенное: инструкции скрываются в полученных веб-страницах, файлах или результатах работы инструментов.

Меры защиты: применяйте к инструментам принцип минимальных привилегий, рассматривайте всё полученное содержимое как данные, добавляйте контрольные точки с участием человека для чувствительных действий и разрывайте путь к извлечению данных.

LLM02: Разглашение конфиденциальной информации охватывает случаи, когда модель раскрывает данные, которые не должна раскрывать: PII, секреты, закрытые данные обучения или информацию другого клиента.

Утечки происходят из-за запомненных данных обучения, чрезмерно широкого добавления контекста или системных инструкций, содержащих учетные данные.

• Очищайте и минимизируйте данные, помещаемые в контекст.
• Никогда не помещайте действующие секреты в инструкции; используйте краткоживущие токены с ограниченной областью действия, передаваемые вне контекста.
• Применяйте фильтрацию результатов и проверки предотвращения утечек данных перед возвратом ответов.

LLM03: Цепочка поставок связана с рисками сторонних моделей, наборов данных, подключаемых модулей и библиотек. Скомпрометированная базовая модель, дообученная модель со скрытой лазейкой из репозитория моделей или вредоносная зависимость Python могут поставить под угрозу всё приложение.

• Проверяйте происхождение моделей и контрольные суммы.
• Фиксируйте версии и проверяйте лицензии.
• Сканируйте сериализованные файлы моделей (pickle может выполнять код при загрузке) и отдавайте предпочтение безопасным форматам, например safetensors.

LLM04: Отравление данных и модели направлено на конвейер обучения или дообучения. Атакующий, способный влиять на обучающие данные, может внедрить скрытые лазейки (скрытые триггеры), исказить результаты или снизить качество.

Конвейеры RAG, которые принимают документы от пользователей, остаются уязвимой для отравления поверхностью даже после развертывания.

• Проверяйте и подписывайте источники обучающих данных.
• Используйте обнаружение аномалий в наборах данных.
• Изолируйте содержимое, предоставленное пользователями, и проверяйте его перед индексированием.

LLM05: Ненадлежащая обработка результатов возникает, когда последующие компоненты доверяют результату модели без проверки. Поскольку на результат можно влиять с помощью внедрения инструкций, его передача без проверки в командную оболочку, запрос SQL, браузер или механизм выполнения кода напрямую ведёт к XSS, SSRF или RCE.

Правило: рассматривайте результат LLM точно так же, как недоверенный ввод пользователя. Кодируйте, проверяйте и изолируйте его перед передачей любому интерпретатору.

LLM06: Чрезмерная автономность — это вред, вызванный предоставлением модели слишком широких возможностей, слишком большого количества разрешений или чрезмерной самостоятельности. Когда модель может вызывать инструменты, внедрение инструкций превращается в действие, а не остаётся просто текстом.

• Избыточные возможности: инструменты, которые приложению на самом деле не нужны.
• Избыточные разрешения: инструмент с правами записи и удаления, когда достаточно чтения.
• Избыточная самостоятельность: действия с серьёзными последствиями, не требующие одобрения человека.

Применяйте принцип минимальных привилегий для каждого инструмента и требуйте подтверждения для необратимых операций.

LLM07: Утечка системных инструкций показывает, что системные инструкции не являются защищённым хранилищем секретов. Атакующие часто могут извлечь их, а иногда в них содержатся учетные данные, скрытая бизнес-логика или правила фильтрации, помогающие проводить дальнейшие атаки.

• Считайте, что системные инструкции можно восстановить; никогда не встраивайте в них секреты или ключи.
• Проверяйте полномочия в серверной части приложения, а не надейтесь на соблюдение правила из инструкций.
• Считайте любой механизм защиты нарушенным, если он существует только в тексте инструкций.

Оставшиеся категории:

• LLM08 Слабые места векторов и векторных представлений: риски, связанные с векторными представлениями в RAG, например утечка между клиентами, обратное восстановление по векторным представлениям и индексирование отравленных документов. Обеспечивайте контроль доступа во время получения данных.
• LLM09 Дезинформация: уверенные галлюцинации и чрезмерная зависимость от модели. Добавляйте обоснование ответов, ссылки на источники и проверку человеком для результатов с высокими последствиями.
• LLM10 Неограниченное потребление ресурсов: неоправданные расходы и отказ в обслуживании из-за дорогих или неконтролируемых запросов. Применяйте ограничения частоты, бюджеты токенов, ограничения времени ожидания и оповещения о расходах.

Список из 10 основных рисков наиболее полезен как структурированный контрольный список во время проверки проектных решений:

• Сопоставьте каждый компонент (ввод, получение данных, инструменты, результаты) с соответствующими рисками LLM.
• Для каждого риска определите конкретную меру защиты и ответственного.
• Опишите сценарии злоупотребления и превратите их в автоматизированные тесты.

Сочетайте его с существующими платформами, такими как стандартный список OWASP из 10 основных рисков, MITRE ATLAS для тактик, специфичных для машинного обучения, и платформой управления рисками ИИ NIST для управления.

Ни одна отдельная мера защиты не охватывает все эти риски. Объединяйте несколько уровней:

• Уровень ввода: проверка, классификация, ограничения частоты.
• Уровень модели: инструменты с минимальными привилегиями, контекст с ограниченной областью действия, защитные модели.
• Уровень результатов: проверка, кодирование, DLP, одобрение человеком.
• Уровень платформы: журналирование, мониторинг, проверка цепочки поставок, контроль расходов.

Предполагайте, что любой уровень может отказать, и проектируйте систему так, чтобы единичный отказ не превращался в утечку данных.

Проверьте, насколько хорошо Вы усвоили категории OWASP для LLM.

OWASP Top 10 для LLM кратко:

• LLM01 Внедрение инструкций, LLM02 Разглашение конфиденциальной информации, LLM03 Цепочка поставок, LLM04 Отравление данных и модели, LLM05 Ненадлежащая обработка результатов.
• LLM06 Чрезмерная автономность, LLM07 Утечка системных инструкций, LLM08 Слабые места векторов и векторных представлений, LLM09 Дезинформация, LLM10 Неограниченное потребление ресурсов.
• Рассматривайте результат модели и системные инструкции как недоверенные и не являющиеся секретными.
• Используйте этот перечень как контрольный список для моделирования угроз, сочетайте его с MITRE ATLAS и NIST AI RMF и обеспечивайте многоуровневую защиту на уровнях ввода, модели, результатов и платформы.