Заказчики начали формировать запрос на анализ защищенности ИИ-моделей

Анализ защищенности искусственного интеллекта становится все более частым запросом российских компаний, специалисты «Кросстеха» отмечают, что с начала 2026 года примерно в 20% запросов на проведение пентеста заказчики интересовались возможностью оценки защищенности ИИ-моделей, используемых в их инфраструктуре.

По оценкам специалистов, различные решения на базе искусственного интеллекта активно используются в 40-50% российских компаний. При этом более половины руководителей ИБ-направлений считают искусственный интеллект, в том числе и внедренный в корпоративную инфраструктуру, главной угрозой кибербезопасности в 2026 году.

В ходе анализа защищенности ИИ-моделей специалисты оценивают безопасность как самой LLM, так и окружающей ее инфраструктуры: системных промптов, внешних интеграций, RAG-механизмов, API, реализованных методов авторизации и разграничения доступа и так далее. Эксперты моделируют наиболее распространенные сценарии атак на ИИ-системы, включая prompt injection, jailbreak, атаки на RAG, попытки извлечения конфиденциальных данных через модель, обход ограничений и другие техники.

При этом, указывают специалисты «Кросстеха», сегодня существует ряд препятствий, которые затрудняют анализ защищенности ИИ-моделей. Во-первых, отсутствие общепринятых методик оценки безопасности ИИ. Искусственный интеллект — молодое явление, практики, связанные с его тестированием, защитой и так далее, только начинают складываться. Во-вторых, нет общепринятых метрик эффективности. Одна и та же атака может оказаться успешной при повторной попытке или после незначительного изменения формулировки запроса. На данный момент рынок не до конца сформулировал ответ на вопрос, что такое защищенная модель. В-третьих, модели быстро эволюционируют, регулярно появляются новые версии, способы интеграции и сценарии атак. Кроме того, пространство возможных пользовательских промтов не ограничено, поэтому протестировать все сценарии невозможно.

«Несмотря на уже достаточно широкое внедрение искусственного интеллекта в корпоративной среде, рынок только вырабатывает подходы к оценке его защищенности. В отличие от классических информационных систем, безопасность ИИ определяется не только отсутствием технических уязвимостей, но и устойчивостью модели к манипуляциям, попыткам обхода ограничений и утечкам данных. Пока единых критериев оценки эффективности такого тестирования не существует, однако отрасль активно движется к стандартизации подходов и формированию лучших практик.», — говорит Анастасия Мельникова, руководитель департамента оценки защищенности «Кросстеха».