Эксперт Шабалин: атаки на ИИ требуют от компаний совершенно новых подходов к защите
изображение: grok
Юрий Шабалин, директор по развитию безопасных технологий искусственного интеллекта Swordfish Security, прокомментировал для CISOCLUB рост обеспокоенности специалистов атаками с использованием ИИ. По мнению эксперта, искусственный интеллект изменил не только инструменты защиты и нападения, но и сам характер угроз, с которыми сталкиваются организации.
Он отметил, что современные ИИ-системы существенно отличаются от традиционного программного обеспечения. Их архитектура сложнее, а механизмы защиты зачастую легче обойти, чем в классических ИТ-решениях.
«AI-системы имеют свои особенности, устроены сложнее, а их защиту обойти зачастую проще, чем традиционное ПО. Искусственный интеллект изменил все, в том числе и характер угроз, которым подвергаются компании, внедряющие ИИ в контур», — заявил Юрий Шабалин.
По словам эксперта, одной из наиболее распространённых угроз остаётся непрямые инъекции запросов, при которых вредоносные инструкции внедряются через внешние источники данных и заставляют модель игнорировать заложенные ограничения безопасности.
«Перечислю лишь топ-5 угроз ИИ. Непрямые инъекции (Prompt Injection) — Внедрение вредоносных инструкций через внешние данные, заставляющее ИИ игнорировать протоколы безопасности», — отметил он.
Ещё одной серьёзной проблемой Юрий Шабалин назвал джейлбрейк моделей, позволяющий обходить встроенные механизмы защиты и использовать систему способами, не предусмотренными разработчиками.
«Джейлбрейк (Jailbreak): Обход встроенных ограничений (guardrails) для выполнения несанкционированных действий в ИТ-контуре», — рассказал эксперт.
По его словам, значительные риски также возникают при использовании систем класса RAG, где ошибки разграничения доступа могут привести к раскрытию внутренней документации и другой чувствительной информации.
«Утечка конфиденциальных данных через RAG-системы — извлечение корпоративных секретов и техдокументации из баз знаний ИИ из-за ошибок в правах доступа», — подчеркнул Юрий Шабалин.
Кроме того, эксперт обратил внимание на угрозы цепочки поставок и атаки на модели машинного обучения через внешние зависимости.
«Атаки на цепочку поставок ML (Supply Chain): Использование «отравленных» предобученных моделей или библиотек с закладками» — заявил он.
В перечень наиболее опасных сценариев также входят состязательные атаки, которые позволяют влиять на работу систем компьютерного зрения через физическое изменение объектов окружающей среды.
«Состязательные атаки (Adversarial Examples): Физическое воздействие на объекты (например, наклейки на знаках или маркировке), искажающее работу компьютерного зрения на производстве», — отметил эксперт.
Юрий Шабалин рассказал, что для специалистов по кибербезопасности была подготовлена отдельная таксономия угроз ИИ-систем, которая дополняет существующие подходы к безопасности приложений и учитывает специфику технологий искусственного интеллекта.
«Для российских инженеров по кибербезопасности мы в прошлом году обобщили таксономию угроз AI-систем. Методология фокусируется на специфических для AI угрозах, дополняя классические практики AppSec», — сообщил он.
По словам эксперта, при создании методологии были использованы международные подходы и классификации уязвимостей, а сама база содержит около 80 типов угроз, характерных для систем с применением искусственного интеллекта.
«Разработчики собрали воедино около 80 основных уязвимостей систем с участием искусственного интеллекта. В таксономию угроз, в частности, попали компрометация моделей, обход ограничений, раскрытие чувствительной информации в ответе, конфликт иерархии инструкций и другие. Каждой обнаруженной угрозе соответствует ее международная классификация и меры защиты и контролей», — рассказал Юрий Шабалин.
Эксперт добавил, что доступ к этой базе знаний открыт для российских компаний и может использоваться при построении процессов защиты ИИ-систем.
«Доступ к таксономии открыт для всех российских компаний бесплатно», — заключил Юрий Шабалин.
