США и Китай обсуждают правила для ИИ по образцу ядерного сдерживания

Американские и китайские эксперты предложили ввести для военного ИИ красные линии по образцу ядерного сдерживания. Смысл простой, заранее прописать, что автономным системам нельзя делать самим, пока алгоритм где-то в дата-центре случайно не развяжет настоящий конфликт. Документ подготовили участники диалога Brookings Institution и Университета Цинхуа, вышел он перед ожидаемой встречей Трампа и Си Цзиньпина 24 сентября в Вашингтоне.

ИИ-система в военной сети не похожа на дежурного офицера с кружкой кофе, который сперва звонит начальству. Она детектит подозрительный трафик, классифицирует его как угрозу и запускает ответку за секунды. На другой стороне срабатывает зеркальная защита, считывает происходящее как атаку и отвечает автоматом же. Если сеть завязана на ядерное командование, у людей на разбор полётов остаются минуты, а не сутки на брифинг.

Melanie Sisson из Brookings предлагает жёсткое разделение труда. Кибератаки против систем ядерного командования и связи должны запускать только люди, ИИ к этой кнопке лучше не подпускать. Автономный алгоритм способен уйти за рамки задачи, неверно считать обстановку или сам стать целью взлома, и тогда пострадавшая сторона не разберёт, приказ это противника или баг в коде.

Tianjiao Jiang из Фуданьского университета формулирует список ещё жёстче. По его версии ИИ нельзя разрешать:

• самостоятельно принимать решение о применении ядерного оружия;
• автономно атаковать системы ядерного командования и связи;
• бить по критической инфраструктуре энергетики, финансов и здравоохранения без санкции человека.

Интересно, что Пекин и Вашингтон синхронно требуют ограничений и синхронно же продолжают закапывать ИИ поглубже в ядерные системы, будто катают фичу сразу в прод на боевом сервере.

Отдельная головная боль в том, что оба государства могут подписаться под фразой «значимый человеческий контроль» и понимать под ней разные вещи. Jiang предлагает выработать общую трактовку термина, иначе стороны будут кивать друг другу на переговорах, сохраняя разную автономность вооружений. В ноябре 2024 года Байден и Си уже соглашались, что решения о ядерном оружии должны оставаться за людьми, теперь эксперты хотят распространить этот принцип шире.

Lora Saalman из SIPRI отмечала, что человеческий контроль стал одной из немногих тем сближения позиций Вашингтона и Пекина на бумаге, хотя на деле обе страны продолжают встраивать ИИ в ядерные системы.

Jiang, помимо прочего, предлагает завести горячую линию под инциденты с автономными системами. Пригодиться она может в ситуациях, когда:

• защитный алгоритм сам заблокировал сервер или провёл контратаку;
• действие одной стороны похоже на начало наступательной операции, хотя им не является;
• нужно быстро подтвердить, что странная активность была случайной или несанкционированной, а не приказом сверху.

Обычная линия кризисной связи у Вашингтона и Пекина уже есть, но спасает не всегда. Carla Freeman из Johns Hopkins SAIS вспоминает кейс с китайским аэростатом над США в феврале 2023 года, когда китайские чиновники попросту не брали трубку, пока шар неспешно долетал до Монтаны.

Уточняется, что дело не только в нежелании отвечать. Freeman связывает это с устройством китайской бюрократии, где чиновники нижнего звена во время кризиса физически не могут решить без отмашки сверху, так что звонок повисает в пустоте до совещания в Пекине.

Китай уже встроил военный ИИ в систему контроля над вооружениями организационно, темой занимается Департамент по контролю над вооружениями МИД КНР, тот же, что курирует ядерное оружие и нераспространение. В июне посол по разоружению Shen Jian в Женеве заявил, что военный ИИ повышает риск эскалации и терять человеческий контроль нельзя, но добавил, что разговоры про безопасность ИИ не должны превращаться в повод строить барьеры для чужих технологий.

У Вашингтона симметричного ведомства нет, полномочия раскиданы между Советом нацбезопасности, Госдепом и Пентагоном. У ядерного оружия за десятилетия сложилась архитектура договоров, а военный ИИ развивается быстрее любой дипломатической процедуры и цепляет оборону, киберпространство и коммерческий софт разом. Трамп говорил, что слишком широкие ограничения дадут Китаю фору, а в Пекине встречные меры США читают как попытку удержать лидерство любой ценой.

Проблема в итоге упирается не только в качество конкретной модели. Доверять автономной системе в подобных ситуациях преждевременно, пока нет ясности сразу по нескольким пунктам:

• какими полномочиями наделена система при принятии решений;
• насколько быстро человек способен вмешаться и отменить действие;
• с какой скоростью стороны обмениваются информацией об инциденте;
• есть ли у обеих сторон отработанная процедура расследования произошедшего.

Для российского рынка это не отвлечённая геополитика с другого континента. Экспортные ограничения на чипы и вычисления, о которых спорят Вашингтон и Пекин, формируют глобальный рынок железа для ИИ, и доступ к нему для российских разработчиков зависит от того, как в итоге договорятся два игрока. Плюс Россия остаётся третьей ядерной державой за периметром этого диалога, хотя любые правила для военного ИИ так или иначе затронут и её системы.

Пакет предложений на выходе получился довольно конкретным:

• запрет на самостоятельное решение ИИ об ударе ядерным оружием;
• обязательное участие человека в санкционировании самых опасных кибератак;
• единое для двух стран определение человеческого контроля над военными системами;
• отдельная горячая линия для инцидентов с автономным ИИ.

Ни Вашингтон, ни Пекин пакет пока официально не одобрили и вряд ли одобрят целиком и сразу. Но сам факт, что тема военного ИИ перекочевала из чатов про чипы в область, которую раньше обсуждали только применительно к ядерному сдерживанию, говорит о многом. Чем быстрее автономные системы учатся находить угрозы и отвечать в сети, тем меньше времени у людей понять, что произошло.

Эксперты CISOCLUB отметили, что риск здесь не в конкретной модели, которая якобы решит захватить ядерный чемоданчик по собственной инициативе, а в банальной путанице сигналов между двумя оборонными системами на автопилоте. Ошибка классификатора, ложное срабатывание или взломанный узел способны запустить эскалацию быстрее, чем люди успеют снять трубку горячей линии. Специалисты отметили, что схожая логика применима и к российским системам ПВО и киберзащиты, которые тоже постепенно наращивают автономность.

Пока формальных договорённостей нет, единственной страховкой остаётся ручной контроль над самыми чувствительными случаями применения силы, на уровне архитектуры систем. Прогресс здесь будет заметен не по громким заявлениям, а по тому, появится ли реально работающая горячая линия.

Ранее сообщалось, что китайские ИИ-модели за последний год существенно увеличили свою долю на рынке за счёт американских разработчиков. Согласно исследованию Juniper Research, совокупная доля Google, OpenAI и Anthropic на платформе OpenRouter за 12 месяцев сократилась с 70% до 30%. Китайские модели DeepSeek, Qwen и Kimi при этом выполняют аналогичные задачи примерно на 90% дешевле, из-за чего разработчики переводят трафик на более доступные решения.