Риски моделей, данных и цепочки поставок

Приложение на базе LLM создается из множества сторонних компонентов: базовых моделей, моделей после дообучения, наборов данных, эмбеддингов, плагинов и обычных программных зависимостей. Каждое звено может стать местом, куда злоумышленник внедрит вредоносные изменения.

В отличие от традиционного программного обеспечения, артефакты машинного обучения часто представляют собой большие непрозрачные двоичные файлы, загружаемые из общедоступных хранилищ с плохо подтвержденным происхождением. Отравленный файл весов или набор данных с внедренной лазейкой трудно обнаружить при проверке.

Защита конвейера означает отслеживание и проверку каждого компонента — от источника до боевой среды.

Отравление данных изменяет данные для обучения или дообучения, чтобы исказить результирующую модель. Злоумышленник, способный добавить даже небольшую долю обучающих примеров, может заметно изменить поведение модели.

• Атаки на доступность: снижают общую точность.
• Целевые атаки: вызывают определенные ошибочные классификации.
• Атаки с внедрением лазейки: встраивают скрытый триггер (см. следующую сцену).

Данные, собранные из интернета, и предоставленные пользователями документы RAG часто становятся точками входа для отравления, поскольку их много и они проходят лишь поверхностную проверку.

Бэкдор — это атака с отравлением данных, из-за которой модель ведет себя нормально, кроме случаев, когда во входных данных появляется секретный триггер. Триггером может быть редкая фраза, последовательность токенов или шаблон водяного знака.

Пример: модель автодополнения кода, дообученная на отравленных данных, работает правильно, пока не появляется специальный комментарий, после чего выдает небезопасный код. Бэкдоры трудно обнаружить, поскольку стандартные контрольные наборы выглядят нормально.

Меры защиты: получайте модели только от надежных поставщиков, использующих подписи; выполняйте обнаружение триггеров и сканирование аномалий; проводите дообучение на проверенных данных, находящихся под Вашим контролем.

Веса моделей — это не просто данные: некоторые форматы выполняют код при загрузке. Python pickle (используемый в старых файлах PyTorch .bin и .pt) может выполнять произвольный код во время десериализации.

Загрузка модели в ненадежном формате сериализации эквивалентна запуску ненадежной программы.

• Предпочитайте safetensors, который хранит только тензоры и не может выполнять код.
• Сканируйте или помещайте в песочницу любые данные сериализации, которые необходимо загрузить.
• Считайте файлы моделей из общедоступных хранилищ ненадежными двоичными файлами.

Установите происхождение каждого артефакта и убедитесь, что его не изменяли.

• Фиксируйте точные версии и редакции моделей и наборов данных, никогда не используйте latest.
• Проверяйте контрольные суммы или хеши по известному заведомо корректному значению.
• Предпочитайте подписанные артефакты; проверяйте подписи, если издатель их предоставляет.
• Ведите перечень компонентов машинного обучения (BOM), содержащий модели, наборы данных и их источники.

Модели могут запоминать, а затем воспроизводить части обучающих данных, включая секреты, PII или защищенный авторским правом текст. Злоумышленники используют атаки на извлечение, чтобы побудить модель раскрыть это содержимое.

• Удаляйте PII и секреты из корпусов для обучения и дообучения.
• Применяйте дедупликацию: запоминание коррелирует с повторяющимися примерами.
• Рассмотрите методы дифференциальной конфиденциальности для чувствительных наборов данных.
• Проверяйте модели с помощью запросов на извлечение до их выпуска.

Две атаки на конфиденциальность нацелены на развернутые модели:

• Определение членства: установление того, входила ли конкретная запись в обучающий набор. Само по себе это может быть нарушением конфиденциальности (например, в медицинском наборе данных).
• Инверсия модели: восстановление характерных входных данных обучения по поведению модели или эмбеддингам.

Снизить риск можно, ограничив раскрытие оценок уверенности, добавив регуляризацию или дифференциальную конфиденциальность и ограничив неограниченный доступ к запросам к особо ценным моделям.

Системы RAG хранят эмбеддинги документов в векторной базе данных. Это создает собственные риски:

• Инверсия эмбеддингов: эмбеддинги могут раскрыть достаточно данных для частичного восстановления исходного текста, поэтому сами являются чувствительными данными.
• Утечка между арендаторами: извлечение без контроля доступа может показать документы другого арендатора.
• Отравление индекса: добавленный в индекс вредоносный документ может перехватить последующие операции извлечения (косвенная инъекция).

Обеспечивайте контроль доступа во время извлечения и проверяйте документы до их индексирования.

Помимо моделей, приложения на базе LLM зависят от обычной цепочки поставок программного обеспечения, а также от плагинов и соединителей, которые предоставляют модели новые возможности.

• Вредоносный или скомпрометированный плагин может читать контекст и похищать данные.
• Пакеты PyPI/npm, имена которых подменены с использованием опечаток, или захваченные пакеты могут внедрить бэкдор в приложение.
• Уязвимые транзитивные зависимости расширяют поверхность атаки.

Используйте файлы блокировки, сканируйте зависимости с помощью инструментов SCA, проверяйте разрешения плагинов и предпочитайте проверенные источники с цифровыми подписями.

Относитесь к конвейеру машинного обучения как к любому другому рабочему пути CI/CD с надежными средствами контроля:

• Изолируйте среды обучения и дообучения; ограничьте круг лиц, которые могут отправлять данные.
• Подписывайте и проверяйте артефакты на каждом этапе; отклоняйте неподписанные артефакты и артефакты с несоответствиями.
• Проверяйте наборы данных с помощью обнаружения аномалий и проверки происхождения.
• Непрерывно отслеживайте развернутые модели на предмет дрейфа и неожиданного поведения.

Такие платформы, как MITRE ATLAS и NIST RMF для ИИ, помогают структурировать эти средства контроля.

Безопасность моделей, данных и цепочки поставок — это доверие и проверка на протяжении всего жизненного цикла:

• Знайте свои источники (происхождение, подписи, перечень компонентов машинного обучения).
• Считайте веса моделей и наборы данных потенциально вредоносными, пока они не проверены.
• Защищайте конфиденциальность от утечек, определения членства и инверсии.
• Защищайте зависимости, плагины и векторные хранилища.

Самое дешевое место для остановки отравленного артефакта — до того, как он попадет в Ваш конвейер.

Проверьте, насколько хорошо Вы понимаете безопасность цепочки поставок моделей.

Риски моделей, данных и цепочки поставок:

• Цепочка поставок машинного обучения охватывает базовые модели, модели после дообучения, наборы данных, эмбеддинги, плагины и зависимости.
• Отравление и бэкдоры искажают обучение; проверяйте источники данных и подписывайте их.
• Избегайте небезопасных форматов pickle; для ненадежных весов предпочитайте safetensors.
• Проверяйте происхождение с помощью версий, контрольных сумм, подписей и перечня компонентов машинного обучения.
• Защищайте конфиденциальность от утечек, определения членства и инверсии; защищайте эмбеддинги и векторные хранилища.
• Ограничивайте зависимости и плагины; защищайте конвейер от начала до конца, используя ATLAS и NIST RMF для ИИ в качестве руководств.