Бизнес выдал ИИ-агентам больше полномочий, чем способен проконтролировать

Компании массово разрешают ИИ-агентам действовать без одобрения сотрудников, но уследить за этими действиями не успевают. По данным опроса 1100 руководителей ИТ-направлений и специалистов по защите информации, 70% организаций уже передали искусственному интеллекту полномочия, для которых год назад требовалось согласие человека. Проверить каждое действие автономного помощника способны лишь 49% респондентов.

Автономные помощники подключаются к корпоративным системам, меняют настройки и выполняют цепочки операций без участия человека. Три четверти опрошенных за последний год столкнулись хотя бы с одним инцидентом или подозрительным событием, связанным с ИИ. Примерно четверть участников сообщила о случаях, когда агент:

• подключался к системам без согласования со специалистами по защите информации;
• получал доступ к закрытым сведениям;
• запускал операции, на которые никто не давал разрешения.

Около 30% организаций готовы поручить ИИ расследование инцидента или изменение рабочей производственной среды без проверки результата человеком. Ошибка одного агента способна задеть сразу несколько систем и запустить цепочку нежелательных изменений, а внешняя атака для этого не нужна, хватает неверно понятой задачи.

Видят много, проверяют мало

Уверенность в наблюдении за ИИ-инфраструктурой выражают 84% участников исследования. Стоит спросить, можно ли отследить и проверить каждое действие агента, и показатель падает до 49%. Если после сбоя невозможно восстановить последовательность действий, расследование превращается в поиск цифровых следов, часть которых уже недоступна.

Также 62% опрошенных признали, что запускали ИИ-инструменты до подготовки защитных механизмов. Агенты сами переходят между системами и выполняют несколько операций подряд, поэтому знакомая ИТ-командам схема становится опаснее. Обычно компании:

• запускают сервис ради ускорения работы;
• выдают права доступа под одну конкретную задачу;
• откладывают ограничения до появления свободного времени.

Российские компании, которые подключают агентов к CRM, бухгалтерским системам и клиентским базам, рискуют тем же самым, если права выданы шире, чем нужно для задачи.

Главная защита оказалась на последнем месте

Большинство участников согласны, что ограничивать доступ ИИ к ресурсам полезнее, чем пытаться предугадать каждую угрозу. Но на просьбу назвать два основных способа защиты явное определение разрешённых агенту действий оказалось последним, его выбрала лишь четверть респондентов. Выше расположились встроенные ограничения, внешняя изоляция и человеческий контроль.

Встроенные ограничения, или guardrails, задают рамки поведения самой модели и работают, пока агент корректно выполняет инструкции. Внешний список разрешений, allow-list, действует на уровне инфраструктуры. Если агенту открыты три системы и несколько действий, обращение к четвёртой блокируется, какой бы вывод ни сделал искусственный интеллект.

Рагу Нандакумара, вице-президент по отраслевой стратегии компании Illumio, связал ситуацию с нежеланием усложнять работу новых инструментов. По его словам, определить допустимые полномочия незнакомого агента непросто, а компании боятся нарушить процессы, ради которых ИИ внедряли.

Кто отвечает за сбой

Рагу Нандакумара заявил, что регуляторы и суды исходят из принципа, по которому внедрение ИИ-агента не освобождает организацию от ответственности за результат его работы. Поставщик программного обеспечения не становится единственной стороной, отвечающей за последствия. Внутри организации, по его оценке, за результат должен отвечать руководитель бизнеса, одобривший задачу для ИИ, а подразделение защиты информации отвечает за границы допустимого. Рагу Нандакумара добавил, что CISO должен:

• контролировать защитные ограничения;
• определять ресурсы и операции, доступные агенту;
• иметь возможность быстро остановить его работу.

Финансовый сектор продвинулся дальше остальных отраслей, отметил Рагу Нандакумара. В Великобритании действует режим ответственности старших руководителей, а в Австралии требования APRA предполагают назначение конкретных лиц, отвечающих за результаты применения ИИ. Российскому бизнесу, который запускает агентов в клиентской поддержке и финансовых процессах, стоит проверить, назван ли человек, отвечающий за каждого из них.

С чего начать, если агенты уже работают

Рагу Нандакумара посоветовал не пытаться сразу составить полный реестр всех ИИ-агентов. Сначала нужно найти агента с доступом к самым ценным данным и определить границы его полномочий уже в текущем квартале, поскольку введённое сейчас ограничение принесёт больше пользы, чем безупречная политика на следующий год. Затем нужно письменно перечислить три-четыре операции, ради которых агент получил доступ, и оставить ему только соответствующие:

• действия;
• системы;
• наборы данных.

Эксперты CISOCLUB отметили, что главный разрыв исследования лежит между уверенностью и управляемостью, ведь о наблюдении за ИИ говорят 84% компаний, а проверить каждое действие агента могут только 49%. Агент с широкими правами напоминает сотрудника без должностной инструкции и без руководителя, который работает быстрее остальных и никогда не устаёт. Внешний allow-list на уровне инфраструктуры остаётся самым дешёвым способом ограничить ущерб, потому что не зависит от того, как модель поняла задачу.

Назначение владельца для каждого агента занимает несколько дней, а отсутствие владельца после инцидента растягивает разбирательство на месяцы. Журналы действий агентов нужно настроить до запуска в промышленную среду, иначе расследовать после сбоя будет нечего. Компаниям, которые уже дали ИИ право менять настройки, стоит начать с одного агента, самого опасного по доступам.

Ранее сообщалось, что заместитель руководителя Роскомнадзора Олег Терляков на 25-м юбилейном форуме «Спектр» в Москве назвал автономных ИИ-агентов одним из основных вызовов для защиты российской цифровой инфраструктуры в ближайшие годы. Такие программы способны самостоятельно исследовать целевые системы, выявлять уязвимости, определять способы проникновения и последовательно применять их без постоянного участия человека. В ответ на эту угрозу ведомство планирует разрабатывать собственных защитных ИИ-агентов, используя накопленные данные о функционировании сетей.