Эксперт Филимонов: защита ИИ-моделей станет новым направлением кибербезопасности
Кирилл Филимонов, специалист по анализу защищённости CuriV, ПК РАД КОП, прокомментировал для CISOCLUB развитие киберугроз для ИИ-моделей и мультиагентных систем. По его словам, внедрение чат-ботов и интеллектуальных помощников в клиентские сервисы расширяет поверхность атаки и одновременно формирует новый спрос на специалистов по защите таких решений.
Безопасность моделей машинного обучения и мультиагентных систем остаётся относительно новым направлением в кибербезопасности. При этом использование ИИ в клиентских сервисах требует учитывать дополнительные риски, связанные с особенностями работы языковых моделей и агентских систем.
«Существуют значительные риски при внедрении ИИ в клиентский сервис. Чат-боты и умные помощники расширяют поверхность атаки для злоумышленников. Международные проект OWASP выделяет целые классы атак на большие языковые модели, агентские системы и MCP серверы», — отметил Кирилл Филимонов.
По словам эксперта, злоумышленники уже используют техники, позволяющие воздействовать на поведение ИИ-систем через специально сформированные инструкции. Одновременно на рынке появляется направление специалистов, которые исследуют подобные методы со стороны защиты и используют их для поиска слабых мест до того, как ими воспользуются атакующие.
«Уже сейчас злоумышленники используют прямые и непрямые промпт инъекции для атак на такие модели. На рынке появляются специалисты с подобными навыками, способными заставить агента выполнять вредоносные инструкции и таким образом проактивно защитить», — рассказал Кирилл Филимонов.
По мнению специалиста, развитие таких компетенций открывает для компаний новое направление деятельности. По мере того как ИИ будет глубже интегрироваться в рабочие процессы, потребность в проверке защищённости моделей и агентских систем будет расти.
«Это окно возможностей открывает компаниям новую нишу, в которой можно финансово закрепиться, потому что спрос на защиту моделей будет становить всё больше по мере их постепенного внедрения в процессы», — заключил Кирилл Филимонов.
