Эксперт Могила: полномочия ИИ-агентов нужно ограничивать вне самой модели
изображение: grok
Александр Могила, ведущий архитектор Angara Security, прокомментировал для CISOCLUB риски внедрения агентного ИИ в кибербезопасность. По его словам, автономным системам нельзя предоставлять широкие полномочия без независимых механизмов контроля: ошибка или намеренная манипуляция агентом может привести к блокировке легитимных сервисов и финансовым потерям.
Особую опасность представляют атаки через данные, которые обрабатывает агент. Злоумышленник может внедрить инструкции в журналы событий, заголовки запросов или содержимое писем, чтобы модель восприняла их как команды. Если система имеет право самостоятельно менять настройки защиты, такая манипуляция способна нарушить работу инфраструктуры.
«Отсюда первое требование. Допустимость операции проверяется вне модели, средствами, которые агент изменить не может. Иначе проверка полномочий живёт внутри того же процесса, на который и направлена атака», — отметил Александр Могила.
Объём доступных агенту прав, по мнению эксперта, должен зависеть от критичности сервиса, обратимости действий и количества затрагиваемых пользователей. Массовые блокировки и изменения в критичных системах необходимо проводить через дополнительное согласование. Для автоматических операций также следует заранее определить порядок пересмотра решений и восстановления после ошибок.
При этом возможность отменить действие не всегда устраняет его последствия. Например, восстановление доступа после ошибочной блокировки не компенсирует потери, возникшие за время простоя. Поэтому эффективность агентной системы необходимо оценивать комплексно.
«На испытаниях смотрят не только ложные блокировки, но и пропущенные атаки и время восстановления. Иначе самым безопасным окажется агент, который не блокирует ничего. Режим рекомендаций показывает, что агент предлагает, но не что выйдет при исполнении, поэтому нужны отдельные проверки с подменой задания и пилот», — пояснил эксперт.
Александр Могила также рекомендует защищать самого агента как отдельную систему: выделять ему собственную учётную запись, предоставлять только необходимые для конкретной задачи права и вести журнал, позволяющий установить, какие данные повлияли на решение и какие действия были выполнены. Возможность экстренно остановить агента должна сохраняться независимо от него самого.
