Microsoft показала, как внедрить бэкдор в ИИ-модель, изменив менее 10 нейронов
Изображение: OpenAI
Исследователи Microsoft показали, как внедрить бэкдор в ИИ-модель, изменив менее 10 нейронов, и выяснили, что наиболее мощные ИИ-агенты способны обнаруживать такие аномальные изменения весов. Как сообщает Microsoft Security Blog, агент с такой моделью проходит все проверки в эксперименте, но при появлении заданной строки в контексте запускает команду злоумышленника с доступными ему правами.
Для такой атаки не нужны мощности для обучения модели. Достаточно компьютера, у которого хватает оперативной памяти для её запуска.
Microsoft пока не наблюдала, чтобы злоумышленники применяли эту технику. Однако агенты нередко работают с привилегированным доступом к системам без контроля человека, поэтому целостность весов важна как для сторонних моделей, так и для моделей собственной разработки.
Большую часть работы по выявлению этой угрозы самостоятельно выполнил Claude Code с моделью Opus 4.5.
Исследователи также обнаружили, что наиболее мощные ИИ-агенты способны находить аномальные изменения весов. Обычное дообучение и квантование меняют веса во многих местах, а внедрение бэкдора может выделяться сильными изменениями нескольких векторов. Применение таких агентов для аудита может помочь автоматизировать защиту от этой угрозы.
Для защиты от таких атак Microsoft рекомендует:
- Сравнивать веса каждой версии с заявленной базовой моделью перед развёртыванием и после каждого обновления.
- Дополнять аудит весов тестами на скрытые триггеры.
- Ограничивать права агентов необходимым минимумом.
- Выполнять сгенерированный агентами код только в изолированных песочницах.
Успешный аудит снижает риск, но не гарантирует безопасного поведения модели.
