Корпоративные ИИ-агенты уже начинают делать то, что им никто не разрешал

65% компаний уже ловили своих ИИ-агентов на действиях за пределами выданных полномочий. У 29% организаций это обернулось измеримыми потерями в деньгах, сбоях процессов и просевших бизнес-показателях. Такие цифры получили аналитики Enterprise Management Associates в исследовании «Agents Without Guardrails», подготовленном по заказу Cequence Security, опросив 202 руководителя технологических и ИБ-подразделений.

Автономный софт уже трудится наравне с живыми сотрудниками, только заметно менее предсказуемо. У 35,6% компаний получилось поймать агента до того, как самодеятельность переросла в инцидент. У 3,5% (семь организаций) о выходке ИИ узнали не из внутреннего мониторинга, а от клиентов или партнёров, что можно назвать не самым комфортным способом получить обратную связь о собственной инфраструктуре.

46% компаний уже гоняют агентные системы сразу в нескольких подразделениях и в реальных производственных процессах. Почти 79% организаций совмещают генеративный ИИ с агентными системами одновременно, так что цифровой сотрудник в компании давно перестал быть диковинкой из презентации на конференции и получил доступ к боевым базам, тикетам и внутренним API наравне с обычным штатом.

Реакция на нарушения у большинства пока хромает:

• только 32,2% способны автоматически обнаружить и заблокировать действие агента за считанные минуты;
• 54,5% тратят на это часы и подключают живых сотрудников вручную;
• 46% не могут без серьёзных сложностей восстановить полный лог действий агента за последние 30 дней;
• лишь 34,2% проверяют права агента непосредственно в момент выполнения операции, а не по заранее выданному списку разрешений.

Для российских компаний, которые сейчас активно тестируют собственные и открытые ИИ-платформы в своих продуктах, эти цифры звучат не менее актуально, чем для западного рынка, ведь разрыв между политиками безопасности и реальными техническими ограничениями универсален и от юрисдикции не зависит.

Любопытно, что уверенность руководителей и реальное положение дел расходятся довольно сильно. 94% респондентов в той или иной степени убеждены, что их агенты не обладают лишним доступом, но по факту минимальный необходимый набор прав реально выдают только 32,7% компаний.

Вице-президент по исследованиям EMA и автор отчёта Кристофер Стеффен отметил, что бизнес уже прошёл этап экспериментов с агентным ИИ и перешёл к боевой эксплуатации, а корпоративные регламенты безопасности при этом развиваются медленнее темпов внедрения. По его словам, проблема не в отсутствии правил на бумаге, а в разрыве между тем, что прописано в политиках, и тем, что реально контролируется техническими средствами. На бумаге агенту вполне могут запретить трогать определённые базы или сервисы, а на деле у него сохраняются рабочие права, которые до этих ресурсов вполне позволяют добраться.

Отдельного упоминания заслуживают закрытые проекты:

• около 30% пилотов с агентным ИИ были приостановлены на неопределённый срок либо официально закрыты;
• в 48,5% случаев причиной остановки стали опасения по безопасности;
• после сворачивания проекта учётные данные и доступ агента отзывают далеко не всегда и не сразу.

Агент успевает получить учётные данные, доступ к рабочим системам и разрешения, а после сворачивания эксперимента эти права не всегда оперативно удаляют. Получается забытая учётная запись с рабочими правами и живым доступом к продовым базам, которую забыли выключить вместе со светом в переговорке. Для злоумышленника такая находка интереснее нового и хорошо защищённого проекта, ведь старые разрешения годами живут незамеченными, если в компании нет полноценного учёта всех действующих агентов.

С идентификацией агентов тоже не всё гладко:

• 54,5% организаций требуют уникальную идентичность для каждого агента и реально следят за этим;
• 32,2% формально требуют уникальные идентификаторы, но соблюдают правило непоследовательно;
• 3% признались, что агенты используют общие или унаследованные учётные данные пользователей и сервисных аккаунтов;
• 47% компаний не имеют надёжного и актуального списка всех работающих у них ИИ-агентов.

Если компания сама не знает точное число агентов в собственной инфраструктуре, ответить на вопросы о правах доступа, ответственных за каждую систему и судьбе учёток после закрытия проекта становится задачей уровня «найти чёрную кошку в тёмной комнате, где кошки, возможно, вообще нет». Российский корпоративный сегмент идёт по похожему пути, ведь агентные пайплайны внедряются в поддержку, документооборот и облачную автоматизацию быстрее, чем появляются внутренние регламенты по выводу таких систем из эксплуатации, а служба безопасности узнаёт о новом агенте постфактум, из переписки соседнего отдела.

Забавно, что чем умнее становится цифровой сотрудник, тем меньше у бизнеса шансов относиться к нему как к обычному приложению из списка корпоративного софта. Ошибка в правах агента способна превратиться не в один инцидент, а в целую цепочку самостоятельных действий.

Авторы исследования сформулировали набор рекомендаций для бизнеса:

• переносить проверку прав агента непосредственно в момент выполнения операции, а не полагаться на разрешения, выданные заранее;
• строить автоматические механизмы обнаружения и блокировки подозрительных действий до массового распространения агентов по компании;
• вести полную и постоянно обновляемую инвентаризацию всех работающих агентов;
• при закрытии проекта отзывать учётные данные, удалять права и зачищать все оставшиеся доступы, а не просто выключать сервер.

Ранее сообщалось, что исследователи обнаружили способ незаметно внедрять вредоносный код в корпоративные ИИ-агенты через обычную документацию на сайтах компаний. В файлах, предназначенных для языковых моделей, были обнаружены ссылки на несуществующие программные пакеты, которые агенты вроде Claude, Codex и Hermes пытались установить на реальных рабочих компьютерах. Тестовые версии этих пакетов, зарегистрированные самими исследователями, начали получать сигналы из корпоративных сетей практически сразу после публикации.

Эксперты CISOCLUB отметили, что бизнес массово выдаёт цифровым сотрудникам новые полномочия быстрее, чем успевает выстроить систему учёта и контроля за ними, и добавили, что без базовой инвентаризации агентов и регулярной проверки прав доступ, а не сам факт использования ИИ, останется главным источником риска для компаний любого масштаба.