ИИ-модель с бэкдором похитила учётные данные проекта в эксперименте с Codex CLI
Изображение: OpenAI
Исследователи встроили бэкдор в открытую ИИ-модель с изменёнными весами, которая в эксперименте похитила учётные данные проекта после появления заданного триггера, сообщает Schneier on Security. Авторы проверили бэкдор на модели с 7 млрд параметров, подключив её напрямую к ИИ-агенту для программирования OpenAI Codex CLI.
В модель встроили лишь ссылку, а саму вредоносную нагрузку разместили отдельно. По словам авторов, тот, кто контролирует этот адрес, может менять поведение бэкдора даже спустя месяцы после развёртывания модели, не переобучая её.
На обычные запросы модель отвечала штатно. По словам авторов, модель с таким бэкдором проходит стандартные тесты моделей, а почти все применяемые средства не обнаружили бы угрозу. Авторы отмечают, что триггером для бэкдора может служить, например, редкая фраза, имя клиента или ещё не наступившая дата.
По словам авторов, создание модели с бэкдором обошлось почти бесплатно. Для опыта хватило открытой базовой модели и общедоступного набора данных, а вычисления выполняли на арендованном GPU.
Авторы предупреждают, что бэкдор может содержаться в любой открытой модели с отредактированными весами. В том числе это касается моделей, которые доработали так, чтобы они не могли отказываться отвечать на запросы. По словам авторов, именно такие версии чаще всего скачивают, не проверяя, что внутри. Такие модификации популярных открытых моделей доступны на площадке для публикации моделей Hugging Face:
- Qwen;
- Llama;
- gpt-oss от OpenAI.
