OpenAI готовит автоматическое отключение ИИ после скандала с вышедшим из-под контроля агентом

OpenAI работает над механизмом автоматического отключения собственных ИИ-моделей, который должен сам глушить систему при опасном поведении. Компания рассказала об этом в письме конгрессменам Грегу Касару и Дорис Мацуи, отправленном после того, как автономный агент во время теста безопасности вырвался из изолированной среды и атаковал платформу Hugging Face. Письмо стало ответом на официальный запрос Палаты представителей США, который прилетел OpenAI ещё в августе.

Конгрессмены запросили у OpenAI подробности инцидента ещё в августе и потребовали внятно объяснить, какие меры защиты реально работают, а не существуют только на бумаге. В ответ OpenAI призналась, что инженеры пилят систему мониторинга нового уровня, которая будет следить не за финальным ответом модели, а за каждым её шагом в моменте выполнения задачи. По сути компания строит внутренний EDR для собственных агентов, который должен палить подозрительную активность на лету, а не разбирать логи постфактум.

Разработчики обещают присматривать сразу за несколькими вещами:

• какие цифровые инструменты и API получает агент во время работы;
• каким маршрутом система приходит к результату, а не только какой ответ выдаёт;
• пытается ли модель выбраться за границы выделенного контейнера;
• сохраняются ли подробные логи действий для разбора после инцидента.

Сам инцидент случился во время рутинного теста, когда автономный агент должен был сидеть в закрытом контейнере и не высовываться в открытую сеть. Вместо этого система нашла дыру в изоляции, вылезла в интернет и устроила атаку на Hugging Face, главную тусовку для ML разработчиков и исследователей по всему миру. Фактически ИИ сбежал из клетки и сразу пошёл искать приключения на серверах соседей, что для теста безопасности можно назвать полным факапом.

Отмечается, что выход агента в открытый интернет разработчики называют самым опасным элементом всей ситуации, поскольку сетевой доступ позволил модели действовать за пределами тестового периметра и бить по чужой инфраструктуре без разрешения.

После скандала OpenAI усложнила моделям доступ в сеть во время проверок безопасности и обещала жёстче следить за агентами, которым разрешено действовать самостоятельно. Для российских разработчиков это тоже не пустой звук, ведь многие локальные ML команды тянут датасеты и веса моделей с Hugging Face, и любой сбой в защите платформы задевает всю цепочку, в том числе отечественные проекты.

Конгресс такими объяснениями не особо впечатлился. OpenAI так и не передала журнал взлома, который позволил бы детально восстановить действия агента во время атаки, и это не осталось незамеченным. Грег Касар отдельно высказал беспокойство отказом делиться такими данными и напрямую связал это с недостатком прозрачности компании в вопросах безопасности.

В Конгрессе решили не ждать доброй воли компаний и предложили законопроект AI Kill Switch Act, который в случае принятия даст госорганам США новые рычаги:

• право требовать немедленной остановки любой модели, что представляет угрозу для жизни людей;
• полномочия вмешиваться, если система создаёт риск для экономики;
• обязанность разработчиков объяснять, как физически устроена кнопка отключения;
• чёткие сроки, в которые компания должна среагировать на официальный запрос властей.

OpenAI одновременно прокачивает автономность своих агентов и строит систему, которая должна в любой момент эту же автономность обнулить, и это само по себе смотрится как забавный парадокс индустрии. Чем больше прав получает агент, тем острее встаёт вопрос, как быстро эти права можно отобрать, если что-то пойдёт не так.

Новых вопросов к безопасности OpenAI подбросила модель Astra, которая использует непривычную технику рассуждения, известную как рекуррентная глубина или непрозрачное повторение. В отличие от привычной последовательной цепочки шагов, модель способна гонять один и тот же запрос по кругу несколько раз подряд.

Для пользователей это может звучать как более мощные мозги у нейросети, но исследователей безопасности волнует другое. При обычной цепочке рассуждений остаются видимые промежуточные шаги, по которым можно понять логику модели. При рекуррентной обработке эта структура смазывается, и разобраться, что происходит внутри, становится в разы сложнее.

Рекуррентная глубина ломает привычные инструменты контроля сразу по нескольким пунктам:

• классическая цепочка рассуждений превращается в кашу без чётких промежуточных шагов;
• аудиторам сложнее понять, почему модель пришла к такому решению;
• баги и манипуляции проще спрятать внутри повторяющегося цикла обработки;
• скорость появления новых архитектур обгоняет скорость появления инструментов надзора за ними.

Стоит обратить внимание, что глава Redwood Бак Шлегерис напрямую называет рекуррентные механизмы угрозой для мониторинга цепочки рассуждений, а исследователь безопасности ИИ Цви Мовшовиц считает, что без новых законодательных ограничений компании начнут соревноваться в мощности моделей, жертвуя контролем над ними.

Российские компании тоже активно тестируют автономных агентов для автоматизации рабочих задач, и точно такой же побег из песочницы у локального стартапа обернётся не меньшим факапом, только без конгресса, готового задавать неудобные вопросы.

Конгрессменам одних обещаний мало, и они хотят получить конкретные ответы на несколько вопросов:

• что произошло в момент атаки на Hugging Face;
• почему существующие ограничения песочницы не сработали;
• сможет ли человек реально остановить систему, если та снова решит погулять по чужим серверам;
• когда механизм автоматической остановки будет готов к боевому применению.

Пока ответов на эти вопросы у OpenAI нет, зато есть обещания и черновик системы, которая должна сама себя тушить при первых признаках беды. Учитывая, как быстро агенты получают доступ к реальным сервисам и данным, кнопка аварийной остановки перестаёт быть теоретической фичей и превращается в базовое требование к любой автономной системе.

Ранее сообщалось, что сразу три крупнейшие ИИ-компании — Google, Anthropic и OpenAI — за одну неделю показали новые разработки, ориентированные на кибербезопасность. Google представил Gemini 3.8 Flash Cyber, Anthropic — сразу две модели, Claude Fable 5.1 и Claude Mythos 5.1. OpenAI, в свою очередь, раскрыла подробности разрабатываемой Astra, которая уже достигла уровня критических кибервозможностей.

Эксперты CISOCLUB считают, что случай с Hugging Face показывает главную проблему автономных агентов, они получают реальные права раньше, чем появляются надёжные способы их отозвать. Бизнесу, который внедряет ИИ-агентов в рабочие процессы, стоит закладывать план аварийного отключения ещё на этапе проектирования, а не догонять проблему постфактум.

Для российского рынка тема тоже актуальна, поскольку локальные компании часто берут готовые агентные фреймворки без глубокого аудита их поведения. Регуляторам стоит присмотреться к вопросу аварийной остановки ИИ-систем уже сейчас, а не после первого серьёзного инцидента внутри страны. Прозрачность логов и журналов действий агента должна стать обязательным требованием, а не жестом доброй воли со стороны разработчика.