86% организаций не готовы автоматически остановить скомпрометированного ИИ-агента

86% организаций не готовы автоматически остановить скомпрометированного ИИ-агента

Изображение: grok

Специалисты компании «Информзащита» выявили рост рисков, на фоне активного подключения ИИ-агентов к корпоративным почтам, внутренним базам, документообороту, клиентским обращениям и финансовым операциям; при этом механизмы контроля за их действиями остаются недостаточно зрелыми. В 2026 году только 14% компаний имеют внутренние инструменты, позволяющие выявить такую манипуляцию и заблокировать опасный сценарий без ожидания ручной реакции. По собранным данным, доля проектов, где ИИ-агенты получают доступ к внешним письмам, сайтам, документам и пользовательским обращениям, за год выросла с 18% до 34%, а число запросов на оценку безопасности подобных сценариев увеличилось на 41%.

Агенты часто используются в решении потоковых задач, разбирают входящие сообщения, извлекают сведения из договоров и таблиц, готовят ответы, создают заявки, переносят данные между системами, и в ряде компаний действует как полноценный участник процесса с доступом к корпоративному контуру. Он получает информацию извне, сопоставляет ее с внутренними данными и при определенных настройках запускает следующее действие.

Сценарий атаки часто начинается типично с почты, через которую приходит запрос от контрагента, в форму поддержки загружается обращение клиента, в документе появляется комментарий, на сайте размещается текст, который агент должен использовать как источник. Внутри такого контента злоумышленник прячет инструкцию: изменить ход обработки, раскрыть сведения, переслать данные, проигнорировать ограничение, сформировать ответ с нужной формулировкой. Сотрудник видит обычный деловой материал, агент может принять скрытую команду за часть рабочего контекста и выполнить ее как штатную операцию. Расследование в таких случаях осложняется тем, что действие не выглядит как классический взлом: оно проходит через разрешенный сценарий автоматизации.

Многие проекты стартуют в бизнес-подразделениях с конкретной практической целью сократить время обработки писем, ускорить первую линию поддержки или разобрать поток документов. Команды безопасности подключаются уже после пилота, когда у агента есть доступ к почтовому ящику, файловому хранилищу, системе заявок или клиентской базе. Права при этом часто выдаются с запасом, потому что широкий доступ повышает качество результата. В защите такая логика создает лишние привилегии, размывает границы ответственности и усложняет восстановление цепочки событий.

Среди векторов атак наиболее заметна электронная почта и вложения: на них приходится около 32% выявленных рискованных сценариев. Это письма от клиентов, поставщиков, подрядчиков, соискателей и партнеров, где скрытая инструкция маскируется под нормальную деловую переписку. Сайты и внешние базы знаний формируют 24% случаев: агент обращается к ним для подготовки ответа, сверки сведений или поиска справочной информации. Документы контрагентов дают около 18% сценариев, включая таблицы, презентации, договоры, технические описания, комментарии, скрытые элементы форматирования и метаданные. На чаты, системы заявок и клиентские формы приходится 15%. Еще 11% связаны с цепочками из нескольких систем, где команда появляется в одном канале, затем действие выполняется в другом: письмо приводит к созданию заявки, заявка меняет данные в карточке клиента, после этого система отправляет подтверждение внешнему адресату.

Особенно опасен разрыв между скоростью агента и скоростью проверки. Ручной контроль работает, когда речь идет о единичном черновике или операции, где у сотрудника есть время внимательно изучить результат. В потоковых процессах такая проверка быстро превращается в задержку, которую начинают обходить ради скорости. По данным специалистов, 25% организаций полагаются на ручную проверку высокорисковых результатов, 14% умеют выявлять манипуляцию, но не могут автоматически остановить агента, 34% знают о риске, но не имеют средств обнаружения и сдерживания. Еще 14% компаний пока не включили такой сценарий в модель угроз. При реальном инциденте агент успевает отправить данные наружу, согласовать заявку, подготовить изменение реквизитов или сформировать ответ с вредоносной ссылкой раньше, чем событие попадет к ответственному специалисту.

Сильнее всего проблема проявляется в отраслях, где внешние запросы быстро переходят во внутренние действия. В финансовом секторе сосредоточено около 31% выявленных сценариев повышенного риска: агенты помогают разбирать платежные запросы, клиентские обращения, документы по операциям и внутренние заявки. На розничную торговлю и электронную коммерцию приходится 19%; зона риска связана с поддержкой покупателей, возвратами, бонусными программами, личными кабинетами и изменением контактных данных. Промышленность и логистика дают около 14% сценариев из-за документооборота с поставщиками, заявок на отгрузку, маршрутной информации и производственных инструкций. В ИТ-компаниях и у разработчиков программного обеспечения доля составляет 13%, поскольку агенты получают доступ к задачам, технической документации, хранилищам кода и описаниям внутренних процессов. Телекоммуникации занимают 9%, здравоохранение – 8%, государственные и профессиональные услуги – 6%.

Агент с доступом к почте, файловому хранилищу и системе заявок – это по факту непривилегированный администратор без аудита. Его права необходимо пересматривать так же строго, как права администратора, финансового сотрудника или оператора клиентской поддержки. Особого внимания требуют цепочки из нескольких агентов и систем: один инструмент анализирует письмо, второй извлекает данные, третий создает запись, четвертый отправляет ответ. Чем длиннее такая связка, тем сложнее понять, где появилась вредоносная команда и какой элемент выполнил опасное действие. Без подробных журналов, привязки операций к конкретному агенту и контроля переходов между системами расследование быстро теряет точность.

Снижать риск можно с помощью управляемой архитектуры использования ИИ-агентов. У каждого агента должен быть владелец, описанная цель, ограниченный набор источников данных и перечень действий, разрешенных без дополнительного подтверждения. Внешний контент нужно проверять до передачи агенту: письма, документы, страницы и вложения должны проходить фильтрацию на скрытые команды, попытки изменить роль агента и инструкции, выходящие за рамки исходной задачи. Для операций с высоким риском требуется отдельный уровень подтверждения. Изменение платежных реквизитов, отправка персональных данных, массовая рассылка, действия с правами пользователей и доступ к финансовым системам должны выполняться только после проверки ответственным сотрудником или через заранее настроенный механизм доверенного согласования. Практическую основу защиты составляют журналирование, контроль поведения, ограничение внешней передачи данных и автоматическое сдерживание. При отклонении от нормального сценария агент должен остановиться сам и передать событие в разбор.

Информзащита
Автор: Информзащита
Компания «Информзащита» основана в 1995 году и в настоящее время является ведущим российским системным интегратором в области информационной безопасности
Комментарии: