EY и AI Technologies: агентный ИИ формирует новую зону риска из-за автономных решений без контроля человека
Изображение: freepik
На конференции Infosecurity Europe 2025 эксперты обратили внимание на стремительное распространение агентных ИИ-систем, способных принимать решения и взаимодействовать между собой без вмешательства оператора. Такая автономия усиливает опасения в сфере информационной безопасности, особенно с учётом отставания механизмов защиты от темпов внедрения технологии.
Агентный ИИ — это архитектура, в которой ИИ-инструменты не просто обрабатывают команды, а самостоятельно выбирают модели, передают данные другим ИИ-системам и инициируют действия. Такие агенты работают быстрее предыдущих поколений, основанных на LLM, поскольку не нуждаются в ручных подсказках. Они также адаптируются в процессе, меняя как используемые модели, так и поведение.
Проблема усугубляется тем, что многие компании внедряют генеративные инструменты, чат-боты и другие ИИ-компоненты без должной проверки и без выстраивания уровней контроля. Это особенно заметно в ИТ-среде — от генерации кода до конфигурации систем. В результате темп автоматизации начинает опережать уровень защищённости.
По данным исследования EY, только 31% организаций могут назвать свои проекты по ИИ зрелыми. Остальные признают, что управление новыми технологиями отстаёт от инноваций. Это создаёт риск повторения известных проблем LLM — от предвзятости до ошибок в выводах — но на новом уровне, поскольку агентные системы могут передавать и усиливать искажения без участия человека.
Один из наиболее тревожных сценариев — передача ошибочных данных между агентами. Даже небольшое отклонение в расчётах на раннем этапе способно привести к крупным сбоям в сложных взаимосвязанных подсистемах. Ситуация ухудшается, когда ИИ-инструменты подключаются к внешним источникам, не находящимся под контролем организации.
Директор по ИИ в AI Technologies Андреа Изони прокомментировал ситуацию, указав, что взаимодействие ИИ с ИИ требует введения промежуточных уровней защиты. Он подчеркнул, что по мере роста технологического присутствия увеличиваются и потенциальные точки атаки.
Участники конференции согласились, что рост агентного ИИ требует от служб безопасности немедленного пересмотра стратегии. Выявление уязвимостей должно происходить до того, как они будут эксплуатированы — иначе скорость развития окажется выше способности организаций реагировать.
