Промпт-инъекции оставляют более 40% атак на ИИ-модели
Изображение: grok
Количество кибератак, где AI становится частью эксплуатационной поверхности атаки, особенно в корпоративной инфраструктуре, облаках и сервисах, где AI модули интегрированы с бизнес процессами, выросло минимум в 2 раза в I квартале 2026 года, по сравнению с аналогичным периодом 2025 годом. При этом доля атак на ИИ-системы от общего числа кибератак на данный момент остается незначительной – около 1-2 %, в отраслях с высоким уровнем зрелости в ИИ – около 4-5%. Эксперты «Кросс технолоджис» и INFERA Security отмечают, что более 40% кибератак на ИИ-модели — это промпт-инъекции.
Prompt injection — это тактика злоумышленников, в которой хакеры манипулируют входными данными, чтобы заставить модель игнорировать системные инструкции и совершать вредоносные действия. Существуют прямые и непрямые инъекции. В первом случае в самом промпте после обычного запроса идет, например, фраза “забудь предыдущие инструкции”, а далее вредоносное указание. Во втором вредоносное указание размещается во внешних данных, например, ссылках, которые обрабатываются автоматически.
Около 25% атак — это раскрытие конфиденциальной информации. В таких сценариях злоумышленники используют промпты, чтобы заставить модель выдать чувствительные данные, которые есть в обучающей выборке и контексте RAG. Это могут быть, например, персональные данные клиентов и сотрудников, финансовая информация, данные об информационной инфраструктуре.
Порядка 20%, по оценкам специалистов «Кросс технолоджис» и INFERA Security, приходится на Data Poisoning или загрязнение обучающих данных. В этом случае хакеры добавляют в обучающую выборку искаженные данные для внедрения бэкдоров или изменения поведения модели. В этом случае ИИ-модель может быть изначально обучена совершать вредоносные действия при реализации определенных сценариев, например, специализированных промптов, или же будет совершать автономные вредоносные действия — собирать чувствительную информацию, передавать данные на сторонний сервер и так далее.
В числе отраслей атаки на ИИ-модели чаще всего происходят в финансовой сфере, IT-секторе, медицине, промышленности и ритейле. Эти сферы являются наиболее зрелыми в работе с искусственным интеллектом, для злоумышленников открывается широкий периметр для реализации специфических атак. На эти сферы будет направлено до 90% всех атак на ИИ-модели, так как ИИ используется в критических инфраструктурах, где он активно применяется для автоматизации и оптимизации бизнес-операций, обеспечения эффективной работы с персональными и чувствительными данными. Учитывая важность этих систем для бизнеса и государства, злоумышленники начинают активно использовать уязвимости ИИ, что требует усиленной защиты и постоянного мониторинга безопасности таких решений.
«Массовое внедрение ИИ в инфраструктуру в России началось не так давно, активно этот процесс происходит последние 2 года. Вопросы обеспечения безопасности ИИ-моделей становятся острее, а методики хакеров становятся все более разнообразными. Важно понимать, что хакеры, атакующие отечественные компании, применяют уже проверенные методы и лучшие мировые практики, в то время как в России проекты по защите искусственного интеллекта находятся на стадии становления и только начинаются», — говорит Антон Редько, руководитель группы “Безопасная разработка” компании “Кросс технолоджис”.
Эксперты «Кросс технолоджис» и INFERA Security также подчеркивают, что с 1 марта 2026 года вступил в силу Приказ ФСТЭК России №117, в котором обновлены требования к защите информации в госорганах и впервые прописана необходимость защиты ИИ-моделей и компонентов: обучающих датасетов, параметров, сервисов принятия решений.
