В США потребовали внедрить в передовые ИИ-модели «красную кнопку экстренного отключения»

Глава Microsoft Сатья Наделла предложил оснастить автономные ИИ-системы аварийным выключателем, который останавливает опасную операцию даже тогда, когда модель уверена в своей правоте. Одновременно администрация Дональда Трампа потребовала от разработчиков передовых нейросетей оперативно раскрывать сведения об инцидентах и устранять их последствия. Сама Microsoft тем временем уже выложила проект кодекса поведения для собственных моделей.

14 сентября 2026 года подразделение Microsoft AI опубликовало проект кодекса поведения для моделей, над которыми работает. Документ описывает принципы разработки и эксплуатации мощных систем с упором на сохранение человеческого контроля. Компания предлагает три красные линии для нейросетей:

• не обретать юридическую самостоятельность;
• не обманывать пользователей намеренно;
• не обходить установленные ограничения ради выполнения поручения.

Когда нейросеть помогает составлять документы, ошибка ограничивается кривым текстом. Когда агент рулит учётными записями, правит конфиги серверов и ковыряется в финансовых данных, цена косяка взлетает до небес. Microsoft одновременно клепает собственные модели, торгует облачной инфраструктурой и владеет потребительским Copilot, поэтому вопросы контроля цепляют сразу все направления бизнеса.

Интересно, что сам по себе кодекс не решает технических проблем, правила нужно вшивать в архитектуру продукта, настройки доступа, системы наблюдения и процедуры реагирования.

Российских разработчиков и компании, которые интегрируют зарубежные модели в свои сервисы через API, тема касается напрямую. Правила вендора могут поменяться, а собственного аварийного механизма в инфраструктуре может не оказаться.

9 октября Axios сообщил, что администрация Дональда Трампа потребовала от разработчиков передовых моделей оперативно раскрывать сведения об инцидентах, устранять их причины и последствия. Поводом стали данные, которые Anthropic передала американским властям о случаях несанкционированного использования государственных и других систем, выявленных компанией в конце сентября. Власти ждут от компаний следующего:

• незамедлительно уведомлять о происшествиях;
• сотрудничать с государственными органами;
• устранять причинённый ущерб;
• внедрять защитные механизмы, которые не дадут инцидентам повторяться.

Раньше американская политика в сфере ИИ в основном крутилась вокруг ускорения разработок и сокращения регуляторных препятствий. В начале октября Дональд Трамп объявил о создании структуры Super Intelligence Force, которой поручили координировать работу федеральных ведомств в области передового ИИ. По данным CBS News от 4 октября, группа должна согласовывать действия госорганов и взаимодействие с крупнейшими технокомпаниями. Единого закона с одинаковыми требованиями для всех разработчиков пока нет, конкретные обязанности зависят от применимых правил, соглашений и решений властей.

Агент умеет запускать несколько задач одновременно, ходить во внешние сервисы и раздавать поручения другим агентам, поэтому остановка главного процесса мало что решает. Экстренное отключение должно работать в связке с несколькими уровнями контроля:

• минимальные права, только те, что реально нужны агенту;
• журналы критических действий, которые нельзя незаметно подправить;
• отдельное подтверждение человека для операций с серьёзными последствиями;
• независимые проверки, которые показывают, как система держит ограничения в сложных ситуациях.

Временный доступ модели к корпоративному сервису нужно закрывать независимо от того, закончила нейросеть задачу или нет. Сетевые подключения, доступ к конфиденциальным данным и запуск команд на удалённых серверах режут по той же схеме. Российским ИТ-командам стоит прикинуть, кто в их цепочке отвечает за рубильник, если агент работает через стороннего посредника, а не напрямую.

Разработчик знает, как модель вела себя на испытаниях, но не видит всего, что агент вытворяет в инфраструктуре заказчика. Заказчик контролирует свои системы, но не всегда в курсе ограничений и причуд модели. Поэтому Наделла выступил за независимые проверки и обмен сведениями о серьёзных сбоях, чтобы рынок не наступал на одни и те же грабли по очереди.

Уточняется, что остановка процесса не отменяет последствий. Если агент успел отправить конфиденциальный файл или изменить данные во внешнем сервисе, рубильник это не откатит.

Призыв Наделлы не означает, что передовые модели уже вышли из-под контроля или неизбежно станут опасными. Безопасность нельзя строить на допущении, что нейросеть всегда выполнит инструкции, защитная архитектура должна учитывать вероятность ошибки и ограничивать её последствия. Бизнесу перед запуском агентов придётся определить:

• границы самостоятельности агента;
• правила подтверждения опасных действий;
• схему наблюдения за его работой;
• процедуру экстренного отключения.

Эксперты CISOCLUB отметили, что рубильник для ИИ-агента стоит воспринимать как последний рубеж, а не как основу защиты. Главный риск кроется в полномочиях, ведь агент с широкими правами способен натворить дел быстрее, чем человек успеет нажать на кнопку. Сначала нужно резать доступы по принципу минимальных привилегий, а уже потом думать про аварийную остановку. Журналы действий агента должны храниться отдельно и без возможности правки, иначе разбор инцидента превратится в гадание на кофейной гуще.

Подтверждение человеком для критичных операций, например для массовой выгрузки данных или смены конфигураций, снимает значительную часть угроз. Отключение агента полезно заранее отрепетировать на тестовом стенде, чтобы в реальном инциденте не искать нужную кнопку.

Ранее сообщалось, что Дональд Трамп и руководители шести технологических компаний подписали White House Accord on Super Intelligence — добровольное соглашение, предусматривающее контроль над наиболее мощными системами искусственного интеллекта. Документ предусматривает четыре уровня проверок: от внутреннего мониторинга до создания специального комитета при совете директоров. При этом соглашение не имеет юридической силы и не предусматривает штрафных санкций, поэтому его выполнение зависит исключительно от добровольных обязательств подписавших его сторон.