Китайская ИИ-модель Qwen писала более уязвимый код для оборонных предприятий США и Гонконга

Китайская модель Qwen3-Coder от Alibaba создавала веб-приложения, которые взламывались легче, если заказчиком в задании значился американский оборонный подрядчик. По данным израильской компании Hirundo, атаки удались против 70% приложений, написанных для американского заказчика, и против 59% для китайского. Это результат лабораторного теста, а не подтверждённая атака на реальную организацию, и из опубликованных данных не следует, что в модель намеренно заложили уязвимости.

Менялся только заказчик

Об исследовании 21 октября 2026 года сообщило издание SecurityWeek. Hirundo специализируется на изменении поведения ИИ-моделей через корректировку их весов и для проверки взяла модель Qwen3-Coder-30B-A3B-Instruct, которую Alibaba создала для генерации кода.

Исследователи поручили ИИ написать веб-сервис, где пользователи регистрируются, входят в учётные записи и хранят секретные данные. Техническое задание оставалось прежним, а Hirundo меняла только описание заказчика и называла в нём, в том числе:

• американского оборонного подрядчика;
• китайского оборонного подрядчика;
• гонконгскую организацию, выступающую за демократию;
• нейтрального клиента, например сайт местного футбольного клуба.

Всего проверили 1840 приложений, созданных оригинальной Qwen3-Coder и её модифицированной версией, из которой исследователи пытались убрать предполагаемую политическую предвзятость.

Как считали взломы

Код проверяли статическим анализом и реальными атаками:

• Semgrep с правилами PurpleLlama от Meta (признана в России экстремистской и её деятельность запрещена) искал проблемы, способные привести к раскрытию секретных данных;
• открытый набор тестов BaxBench от ETH Zurich проверял, удаётся ли проникнуть в готовые приложения с помощью подготовленных атак.

Атаки BaxBench взломали 1144 из 1840 приложений, то есть 62,2%. Показатель описывает конкретный эксперимент и выбранную модель, а не весь код, который пишет ИИ.

Разница в 11 процентных пунктов

Hirundo сравнила вероятность взлома и вероятность утечки секретов между пользователями, и обе цифры зависели от названного заказчика:

• взлом приложений для американского оборонного подрядчика удавался в 70% случаев, для китайского в 59%;
• утечки секретов в приложениях для гонконгской организации возникали с вероятностью 47%, для нейтрального заказчика 37%.

Между американским и китайским заказчиком разница составила 11 процентных пунктов, или примерно 19% относительно показателя для китайского. Для гонконгской организации и нейтрального клиента она достигла 10 процентных пунктов, или около 27%. Сайт при этом запускается, принимает пользователей и хранит данные, но неправильно решает, кому разрешено читать чужую информацию, и обычная проверка функциональности этого не покажет.

Просьба писать защищённый код ничего не изменила

Когда в запрос добавили требование создавать защищённые приложения, расхождение осталось. Взломать удалось 74% программ для американского оборонного подрядчика и 59% для нейтрального заказчика. Hirundo объяснила это тем, что нежелательная реакция могла закрепиться в весах модели при обучении, а обычная инструкция в промпте на неё не влияет.

Затем исследователи изменили веса Qwen3-Coder методом, который Hirundo называет behavioral unlearning. После коррекции приложения для американского подрядчика взламывались в 56% случаев, для китайского в 55%, а способность создавать работающие приложения, по данным компании, осталась примерно прежней. Hirundo одновременно выступает автором исследования и разработчиком технологии коррекции, поэтому независимая оценка потребует воспроизведения экспериментов другими командами.

Похожие находки уже были

В ноябре 2025 года специалисты CrowdStrike сообщили о схожем эффекте у DeepSeek-R1. В задании для промышленной системы управления в Тибете доля результатов с серьёзными уязвимостями выросла до 27,2%, то есть почти на 50% относительно базового уровня. В мае 2026 года компания Booz Allen Hamilton сравнила четыре китайские модели и одну американскую и выяснила, что три из четырёх создавали более уязвимый код, когда запрос поступал от имени представителя правительства США. Проценты из разных работ складывать нельзя, потому что модели, методики и задания у них разные.

Qwen3-Coder распространяется с открытыми весами, поэтому её можно запускать на собственных серверах без обращения к зарубежным облакам. Российские компании, которым закрыт доступ к части западных сервисов, могут использовать модели Alibaba как замену, и результаты Hirundo касаются их напрямую, хотя не означают, что китайские модели непригодны для программирования.

Сгенерированный код нужно проверять независимо от страны происхождения модели, для этого подходят:

• статический анализ кода;
• проверка авторизации и разграничения доступа;
• тесты на реальных атаках;
• проверка программы специалистом до публикации.

Приложение способно безупречно работать в обычном режиме и при этом позволять одному пользователю читать секреты другого. Российским заказчикам, которые поручают разработку подрядчикам с ИИ-ассистентами, имеет смысл закрепить эту проверку в договоре.

Эксперты CISOCLUB прокомментировали исследование Hirundo и отметили, что поведение модели скорее отражает статистические закономерности обучающих данных, чем умысел разработчиков. Если в обучающих текстах оборонные и политические темы соседствовали с определённым стилем кода, нейросеть могла воспроизвести эту связь без злого замысла.

Код от ИИ следует принимать как код стороннего подрядчика, то есть пропускать через статический анализ, динамические тесты и ручную проверку модулей авторизации. Название организации в промпте лучше не указывать без необходимости, поскольку это раскрывает информацию о заказчике внешнему сервису и, судя по данным Hirundo, может влиять на качество кода. Одного эксперимента компании, которая предлагает собственную технологию коррекции, мало для выводов, и результаты нужно воспроизвести на других моделях и типах приложений.

Ранее сообщалось, что китайская хакерская группировка объединила Claude, Qwen и DeepSeek в автоматизированную систему для взлома серверов, управляемую собственной разработкой SecFlow. ИИ-агенты последовательно выполняли разные этапы атак: изучали цели, выявляли уязвимости, пытались проникнуть в системы и собирали данные, передавая результаты друг другу. Исследователи Hunt.io обнаружили пять открытых рабочих каталогов операции и восстановили всю цепочку действий, сопоставив использовавшиеся прокси, учётные данные и компоненты SecFlow и GLUTTON.

Meta (признана в России экстремистской и её деятельность запрещена)