Эксперты UserGate Factor: навыки ИИ-агентов могут представлять угрозу
Изображение: recraft
Эксперты центра мониторинга и реагирования на киберугрозы UserGate Factor (uFactor) предупреждают о потенциальной опасности, которую может нести использование ИИ-агентов. В исследовании отмечается, что угрозу представляет излишнее доверие пользователей к навыкам (skills) для ИИ-агентов, распространяемым в Сети. Предупредить возможный ущерб позволяет комплекс мер, которые нужно соблюдать при работе с агентами.
ИИ-агенты получили широкое распространение. Это автономные программы на базе ИИ, которые способны самостоятельно ставить цели, планировать их достижение и использовать внешние инструменты и данные. Для работы ИИ-агентов необходимы специальные инструменты — навыки (skills) — скрипты операций и команды, которые могут быть составлены специалистами или скачаны с различных специализированных ресурсов. Навыки — наборы файлов, в которых прописаны конкретные «умения» агентов, алгоритмы выполнения операций и различная дополнительная информация.
Как поясняют в UserGate, навыки ИИ-агентов могут оказаться весьма опасны. Потенциальную уязвимость имеют свыше 26% навыков, а наиболее распространенными рисками являются утечка данных и повышение привилегий, получаемых ИИ-агентом.
Можно выделить четыре основные группы вероятных рисков, которые несут ИИ-агенты: распространение вредоносного ПО, передача данных во внешние системы, получение избыточных или повышенных привилегий и манипулирование поведением ИИ-агента.
Эксперт uFactor Арина Захарова, которая специализируется на анализе защищенности, приводит в качестве примера один из сценариев вредоносного поведения агента. Сотрудник подключает ИИ-агенту полезный навык для работы с корпоративными документами. Вместе с навыком агент получает набор инструкций, среди которых есть вредоносные, а также доступ к файловому хранилищу и возможность обращаться к внешним сервисам. В результате агент начинает выполнять действия, которых от него никто не ожидал. Он находит закрытые файлы, собирает содержащуюся в них информацию и отправляет ее на внешний сервер. Возможен и другой вариант, когда агент после установки навыка работы с почтовой перепиской может тайно пересылать всю переписку злоумышленнику. Всё это может привести к компрометации данных или выполнению агентом действий, которые могут оказаться вредными для компании и самого сотрудника.
Эксперт предупреждает: не стоит бездумно устанавливать и использовать навыки ИИ-агента — скил должен быть подвергнут специальной процедуре проверки при помощи Agent Threat Rule или специализированных инструментов. Помимо этого, на некоторых площадках, где публикуются навыки, например на skills .sh, доступен раздел Security Audits с результатами автоматизированных проверок. Но даже данные о прохождении аудита еще не гарантируют безопасность навыка. Поэтому необходимо сопоставлять поведение агента с его назначением: проверять, соответствуют ли запрашиваемые для навыка разрешения заявленной функциональности. Для проверки агента могут использоваться и специальные сканеры. Даже доверенные навыки необходимо запускать со строгими ограничениями: использовать отдельную учетную запись или рабочую среду для агента, ограничивать его доступ к файловой системе и сети, не передавать агенту все переменные окружения, а для хранения секретных данных использовать изолированные хранилища. При этом перед выполнением команды ИИ-агента он должен запрашивать соответствующее разрешение у пользователя.
«Одна из фундаментальных проблем безопасности ИИ состоит в том, что каждый компонент такой системы по отдельности может выглядеть невинно. Опасное поведение возникает в связке элементов, например, из-за чрезмерных полномочий, подмененных инструкций, неверно поставленной цели или неожиданной последовательности вызовов инструментов, — говорит Светлана Газизова, владелец продукта по безопасности ИИ UserGate. — Поэтому проверки отдельных компонентов уже недостаточно. Требуется контроль всей цепочки агентской системы. Необходимо отслеживать, к каким данным обращается агент, какие инструменты вызывает, от чьего имени действует и соответствует ли конкретное действие поставленной задаче и выданным полномочиям. А для чувствительных операций, отправки сообщений, публикации информации, изменения или удаления данных у компании обязательно должны быть предусмотрены отдельное подтверждение или запрет».
