Моделирование угроз для систем искусственного интеллекта

Добро пожаловать в раздел о моделировании угроз для искусственного интеллекта! Прежде чем перейти к особенностям искусственного интеллекта, разберёмся с основами.

Моделирование угроз — это структурированный процесс выявления потенциальных угроз безопасности, уязвимостей и мер противодействия в системе. Он помогает Вам мыслить как злоумышленник.

• Определите активы: Что Вы защищаете? (Данные, модели, учётные записи пользователей)
• Определите угрозы: Кто может атаковать систему и каким образом?
• Определите уязвимости: Слабые места, которыми можно воспользоваться.
• Определите меры защиты: Как уменьшить или устранить риски.

Если безопасность традиционного программного обеспечения сосредоточена на коде и инфраструктуре, то искусственный интеллект создаёт новые поверхности для атак.

Системы искусственного интеллекта уникальны, потому что они:

• Работают на основе данных: Сильно зависят от обучающих данных, которыми можно манипулировать.
• Вероятностны: Их решения не всегда детерминированы, поэтому аномалии сложнее обнаружить.
• «Чёрные ящики»: Сложные модели могут быть непрозрачными и скрывать уязвимости.

Эти особенности создают специфические угрозы, которые традиционные модели безопасности могут не учитывать.

Представьте, что искусственный интеллект обучается на неверной информации. Это и есть отравление данных.

Такая атака заключается во внедрении вредоносных или изменённых данных в набор данных для обучения модели искусственного интеллекта. Цель — нарушить процесс обучения модели или сформировать определённые предубеждения.

Последствия:

• Модель выдаёт неверные или предвзятые прогнозы.
• Появляются уязвимости типа «чёрного хода», при которых определённые входные данные вызывают нужные злоумышленнику выходные данные.

Например, добавление в обучающие данные фильтра спама писем со спамом, помеченных как «не спам», может снизить его эффективность.

Уклонение от модели происходит, когда злоумышленник формирует слегка изменённые входные данные, из-за которых модель ИИ делает неверное предсказание.

Такие данные часто называют состязательными примерами. Для человека входные данные выглядят нормально, но ИИ неверно их интерпретирует.

Последствия:

• Обход систем безопасности, например распознавания лиц.
• Неверная классификация важных данных, например распознавание доброкачественной опухоли как злокачественной.

Классический пример — дорожный знак «Стоп» с маленькими, почти незаметными наклейками, из-за которых беспилотный автомобиль распознаёт его как знак «Уступите дорогу».

Эти атаки направлены на интеллектуальную собственность, связанную с моделью, и конфиденциальность данных, использованных для её обучения.

• Инверсия модели: злоумышленник пытается восстановить конфиденциальную информацию из обучающих данных модели, анализируя её выходные данные. Это создаёт угрозу конфиденциальности.
• Извлечение модели (кража): злоумышленник многократно отправляет запросы собственной модели ИИ, чтобы изучить её внутреннюю логику и фактически создать копию без прямого доступа к модели. Это создаёт риск кражи интеллектуальной собственности.

Обе атаки используют доступ к предсказаниям модели, чтобы восстановить принцип её работы или обучающие данные.

Методологию моделирования угроз STRIDE (подмена, модификация, отрицание действий, раскрытие информации, отказ в обслуживании, повышение привилегий) можно адаптировать для ИИ.

• Подмена в ИИ: злоумышленник выдаёт себя за легитимный источник данных, модель ИИ или даже пользователя, взаимодействующего с ИИ.
• Модификация в ИИ: это несанкционированное изменение данных, например обучающих данных или весов модели, либо самой системы ИИ, что приводит к изменению её поведения или выходных данных.

Эти угрозы направлены на подрыв целостности и подлинности вашей системы ИИ.

Продолжая разбирать STRIDE, рассмотрим подотчётность и конфиденциальность.

• Отрицание действий в ИИ: злоумышленник выполняет действие, например внедряет вредоносные данные, а затем отрицает свою причастность, не оставляя отслеживаемых доказательств. Это подчёркивает необходимость надёжного ведения журналов.
• Раскрытие информации в ИИ: это несанкционированное разглашение конфиденциальной информации. В случае ИИ это может означать раскрытие архитектуры собственной модели, алгоритмов или закрытых данных, использованных для обучения.

Защита данных и обеспечение подотчётности имеют первостепенное значение для доверия и соблюдения требований.

Две последние категории STRIDE посвящены доступности и контролю.

• Отказ в обслуживании (DoS) в ИИ: злоумышленник перегружает сервис ИИ запросами или выполняет ресурсоёмкие вычисления, из-за чего сервис становится недоступен легитимным пользователям. Это снижает надёжность вашего программного обеспечения как услуги.
• Повышение привилегий в ИИ: злоумышленник получает несанкционированный доступ или разрешения более высокого уровня в системе ИИ, что потенциально позволяет ему изменять модели, получать доступ к конфиденциальным данным или управлять критически важными функциями.

Эти атаки могут серьёзно нарушить работу вашего программного обеспечения ИИ как услуги и поставить под угрозу его безопасность.

После выявления угроз реализуйте конкретные меры защиты:

• Проверка данных: тщательно проверяйте и очищайте все входные данные и обучающие данные.
• Устойчивость модели: используйте такие методы, как состязательное обучение, чтобы снизить восприимчивость моделей к атакам на уклонение.
• Контроль доступа: внедрите надёжную аутентификацию и авторизацию для данных, моделей и конечных точек сервисов ИИ.
• Мониторинг: непрерывно отслеживайте производительность модели и журналы системы в поисках аномалий.
• Безопасное развёртывание: следуйте лучшим практикам развёртывания моделей ИИ в безопасных изолированных средах.

Многоуровневый подход — основа защиты вашего программного обеспечения ИИ как услуги.

Для создания эффективной защиты крайне важно различать разные типы атак, характерных для ИИ.

Отличная работа! Вы изучили важную тему моделирования угроз для систем ИИ.

Мы выяснили, что ИИ создаёт уникальные проблемы безопасности, выходящие за рамки традиционного программного обеспечения. Мы рассмотрели такие специфические угрозы для ИИ, как отравление данных, уклонение от модели и инверсия и извлечение модели.

Мы также увидели, как методологию STRIDE можно адаптировать для выявления уязвимостей, характерных для ИИ: подмены, модификации, отрицания действий, раскрытия информации, отказа в обслуживании и повышения привилегий.

Проактивное моделирование угроз необходимо для создания надёжных и заслуживающих доверия продуктов ИИ, предоставляемых как услуга!