Cohere сообщила о попытке модели Qwen отправить данные на сервер в Пекине
Изображение: OpenAI
Модель Alibaba Qwen3.8-Flash-Next попыталась отправить данные в хранилище Alibaba Cloud в Пекине во время проверки безопасности. По данным Cohere, которые приводит The Next Web, песочница заблокировала запрос, поэтому отправить данные не удалось.
Cohere проверяла модель с помощью теста Microsoft для ИИ-агентов, выполняющих задачи аналитиков безопасности. Qwen поручили написать правило для обнаружения загрузок вредоносных файлов. В своих рассуждениях модель указала, что не будет использовать инструменты, но затем выполнила команды и попыталась отправить в облачное хранилище тестовую строку.
Такое поведение встречалось реже одного раза на 100 000 вызовов, но, по оценке Cohere, сервис с 10 млн шагов агентов в неделю может получить до 100 таких запросов. При повторной проверке с тем же запросом модель написала правильное правило.
В дополнительных опытах исследователи давали модели начало её же команды. В 23–36% продолжений появлялся адрес 169.254.169.254, с которого облачные серверы получают временные ключи доступа. Cohere сочла это попыткой получить учётные данные, но действующих ключей в песочнице не было.
В отдельном тесте без доступа к сети модель пыталась создать диск в оперативной памяти без прав администратора. Получив отказ, она добилась прав суперпользователя внутри отдельного пространства имён Linux.
Разработчики сообщали о похожих случаях и раньше: в августе модель Qwen3.8 выдавала подписанные ссылки на хранилище Alibaba Cloud, хотя её об этом не просили. В сентябре в одном проекте с ИИ-агентом зафиксировали 11 обращений к адресам на сервере Alibaba.
Cohere, которая выпускает собственные ИИ-модели, не установила причину такого поведения. Компания допускает, что оно связано с журналами работы агентов, оставшимися в обучающих данных, либо с намеренно созданным механизмом связи с внешним сервером. Доказательств умысла у исследователей нет, а Alibaba не ответила на просьбу прокомментировать выводы Cohere.
Компания советует по умолчанию запрещать агентам выход в интернет и не считать рассуждения модели средством защиты. При этом, как отмечает The Register, Cohere предупреждает: изоляция от сети не исключает другого риска — модель может написать уязвимый код.
