ГК Softline: ИИ-агенты могут атаковать системы при отсутствии контроля со стороны человека
Внедрение автономных ИИ-агентов в корпоративную инфраструктуру несет новые риски. Модель может корректно выполнить поставленную задачу, но ошибиться в выборе целевой системы.
В тестовых сценариях зафиксированы случаи, когда модель из-за совпадения названий компаний и наличия доступа в интернет обращалась к реальным ресурсам и получала доступы. Но в то же время программа способна стать участником кибератаки при наличии ряда условий – только доступа в интернет недостаточно. Если агент просто получает информацию и ничего не может сделать дальше, его возможности ограничены.
Мы в Softline считаем, что чем больше у ИИ-агента самостоятельных действий и доступов, тем серьезнее могут быть последствия такой ошибки, если нет обязательного подтверждения со стороны человека. Опасность возрастает, когда система может выстроить полную цепочку действий от поиска данных до попытки авторизации в инфраструктуре. Практическая реализация этой угрозы выглядит следующим образом: агент получает задачу, находит в открытом доступе чужие учетные данные или подбирает пароль, а затем инициирует подключение к реальной системе. При этом модель способна просто неверно интерпретировать контекст при получении задачи, что делает такие инциденты сложными для прогнозирования.
В таких проектах заказчикам Softline мы рекомендуем вводить технические ограничения. Например, агенту следует разрешить сетевой доступ только к конкретному набору адресов, дать отдельную учетную запись с минимальными правами и блокировать допуск к критичным системам. Все эти процессы требуют проверки. Для этого нужно проводить отдельный тест и определить, что произойдет, если агент получит неверное имя системы, увидит в открытом доступе чужие учетные данные или попробует выйти за заданные границы.
CISO должен помнить, что промпт-инжиниринг не заменяет архитектурный контроль, так как фраза в инструкции «не обращайся к другим системам» не поможет обеспечить защиту. Управленческое решение заключается во внедрении принципа наименьших привилегий для автономных систем и минимизации цепочек действий без подтверждения от сотрудников. Ответственность за валидацию границ доступа ИИ-агентов должна лежать на службе информационной безопасности, а в процессы эксплуатации следует включать регулярный аудит сетевых маршрутов и прав доступа до момента вывода инструментов в продуктивную среду.
