Юрий Шабалин: ИИ-агент – это уже сотрудник, и ему нужен такой же контроль
У ИИ-агента, как у любого сотрудника, должна быть собственная учетная запись, четко прописанные доступы и разделение полномочий, а все, с чем он контактировал, — фиксироваться в журнале. Такие правила безопасной работы с агентами сформулировал Юрий Шабалин, директор по развитию ИИ Swordfish Security, на сессии «Безопасный и доверенный ИИ» на Kazan Digital Week 2026.
Классическое машинное обучение работает в банках около 15 лет в скоринге, антифроде, биометрии, и для него отрасль давно выстроила валидацию. Генеративные ИИ-агенты устроены иначе. Они недетерминированы, то есть на один и тот же вопрос отвечают по-разному, и не просто советуют, а действуют: обращаются к базам данных, вызывают API, отправляют письма, заводят заявки. По словам эксперта, банку стоит относиться к агенту как к новому сотруднику, очень быстрому и исполнительному, но наивному.
Эксперт перечислил основные модели угроз, с которыми сталкиваются специалисты по кибербезопасности. Это, в частности, промпт-инъекции и джейлбрейк, причем наиболее опасны косвенные инъекции, когда вредоносная инструкция приходит внутри письма, документа или веб-страницы, ведь агент не отличает данные от команд. Среди других рисков Юрий Шабалин назвал утечки данных, в том числе через RAG-системы, избыточные полномочия, при которых скомпрометированный агент может совершить необратимое действие, и атаки на цепочку поставок через модели и подключенные инструменты. Отдельная группа — галлюцинации, деградация после обновления модели и зацикливание, которое расходует бюджет на токены.
Чтобы риски были контролируемыми, подчеркнул спикер, важно, чтобы у каждого агента обязательно была собственная учетная запись. Права должны выдаваться минимальные и под конкретную задачу, чтение отделено от записи, а агент, который предлагает действие, и контур, который его утверждает, разделены: решения о деньгах, удалении данных и изменении прав остаются за человеком. Отзыв учетной записи работает как стоп-кран, мгновенно останавливающий агента во всех системах.
Не менее важно документировать все, с чем контактировал агент: кто инициировал сессию, какие данные, документы и ответы инструментов попали в модель, какая версия модели работала, что агент ответил и сделал. Журнал должен быть неизменяемым и храниться отдельно от агента, а сам агент подключаться к тем же системам мониторинга, что и сотрудники, чтобы аномалии в его поведении вызывали тревогу.
— Агент — это сотрудник, и его можно контролировать теми средствами, которые у службы безопасности уже есть. С одной разницей: сотрудника нельзя перепрограммировать одним письмом, а агента можно. Агент без собственной учетной записи — это не агент, а просто текст: его нельзя ни ограничить, ни отключить, ни увидеть в журналах. Поэтому для агента мы записываем не только действия, но и все, что он видел. Да, модель недетерминирована, но событие происходит один раз и, если все сделано правильно, записывается полностью. Нам не нужно, чтобы модель ответила так же, нам нужно знать, что она видела, что ей сказали и что она сделала. А это все детерминировано, если записано. Поэтому вопрос «можно ли доказать» решается не в момент инцидента, а при проектировании логирования, то есть до запуска, — рассказал Юрий Шабалин, директор по развитию ИИ Swordfish Security.
