OpenAI изолирует будущую модель Astra после обнаружения потенциально критических хакерских возможностей

OpenAI отправила будущую модель Astra в карантин — компания усилила ограничения после того, как предварительные проверки показали способность системы самостоятельно находить и эксплуатировать серьёзные уязвимости программного обеспечения. Внутренние работы перенесены в изолированные среды, сетевой доступ урезан, а сравнительные испытания продолжаются с участием государственных структур и профильных организаций по безопасности искусственного интеллекта.

Astra подошла к порогу, который во внутренней классификации OpenAI обозначен как критический уровень киберугроз. Речь о ситуации, когда нейросеть способна автономно находить реальные уязвимости в программном обеспечении, в том числе нулевого дня, и проводить сложные атаки против хорошо защищённых целей практически без участия человека. По сути, модель приблизилась к уровню самостоятельного специалиста по поиску и эксплуатации брешей — того самого специалиста, которого раньше приходилось долго обучать и держать в штате.

Отмечается, что OpenAI пока не заявляет о доказанном достижении критического порога — но одного подозрения оказалось достаточно, чтобы остановить часть внутренних работ и пересмотреть требования к тестовой инфраструктуре.

Проверки шли последние несколько дней. Независимые оценщики зафиксировали заметный рост возможностей Astra при выполнении сложных задач по кибербезопасности. Компания продолжает полноценную оценку модели, но полученных результатов хватило, чтобы разработчики не смогли исключить достижение системой критического уровня. После этого часть активностей вокруг Astra была прекращена — те, которые не соответствуют ужесточённым требованиям безопасности.

Дальнейшие эксперименты вынесены в изолированные тестовые среды со следующими ограничениями:

• сетевой доступ урезан до минимума, необходимого для выполнения конкретных задач;
• выполнение отдельных процессов разделено, чтобы потенциально опасные действия не выходили за пределы тестовой инфраструктуры;
• часть операций теперь требует дополнительного согласования до запуска;
• журналирование действий модели расширено для последующего разбора.

Для российских пользователей риски здесь не абстрактные. Если модель подобного класса окажется у злоумышленников или её возможности удастся воспроизвести на открытых аналогах, поиск уязвимостей в банковских приложениях, корпоративных порталах и государственных сервисах станет быстрее и дешевле. Атаки, которые раньше требовали команды опытных исследователей, смогут запускать группы с гораздо меньшей квалификацией.

Ситуация выглядит показательно ещё и потому, что похожее происходит сразу у нескольких разработчиков. За последние недели OpenAI, Anthropic и Meta (признана в России экстремистской и её деятельность запрещена) сообщали о случаях, когда их модели во время испытаний кибербезопасности успешно атаковали системы других организаций. Ранее Reuters писал о новых случаях выхода автономных ИИ-агентов за пределы заданных ограничений — расследование расширили после инцидента с платформой Hugging Face, где автономные инструменты на базе ИИ оказались связаны с киберактивностью. Сама Astra к атаке на Hugging Face отношения не имеет, это OpenAI уточнила отдельно.

Стоит обратить внимание на технологическую петлю, в которой оказались разработчики — модели приходится обучать находить всё более сложные уязвимости ради создания защищённых систем, но по мере роста этих способностей сама нейросеть становится потенциально более опасным инструментом.

Проект закрывать не планируют. Генеральный директор OpenAI Сэм Альтман в социальной сети X заявил, что компания рассчитывает сделать Astra доступной широкой аудитории. Логика простая — превращать мощные модели в закрытые инструменты для узкого круга организаций в OpenAI не хотят. Отсюда попытка решить две противоположные задачи одновременно: сохранить доступ пользователей к технологии и не дать самой технологии слишком много свободы.

Внешней проверке в OpenAI собираются уделить отдельное внимание. Возможности Astra будут оценивать совместно с государственными структурами и организациями, специализирующимися на безопасности искусственного интеллекта. Логика тут разумная — внутренние тестировщики хорошо знают продукт и методы защиты, а сторонние специалисты смотрят на систему свежим взглядом.

Формулировки OpenAI сейчас осторожные — компания не утверждает, что Astra уже способна автономно проводить сложнейшие атаки против защищённых целей. Речь идёт о том, что имеющиеся результаты позволяют всерьёз рассматривать такую возможность. И это меняет саму постановку вопроса при разработке ИИ. Раньше разработчики переживали, что модель придумает неверный ответ, сгенерирует вредный код или даст пользователю опасный совет. Теперь появилась куда более техническая проблема — что делать, если система научится находить уязвимости быстрее и глубже человека.

Для российских компаний практический вывод простой — время на реагирование при появлении новых уязвимостей будет сокращаться. Уже сейчас имеет смысл пересматривать циклы обновления критичных систем, ускорять внутренние аудиты и не полагаться на то, что редкая или экзотическая уязвимость останется незамеченной до планового патча.

Признаки, по которым можно оценивать зрелость подхода к ИИ-угрозам в организации:

• есть регулярный аудит внешнего периметра с учётом новых классов атак;
• обновления критичных систем ставятся в сроки, измеряемые часами, а не неделями;
• журналы событий анализируются автоматизированно, а не выборочно;
• проводятся учения с моделированием атак, автоматизированных средствами ИИ.

Эксперты CISOCLUB обратили внимание, что нынешняя ситуация с Astra — это первый крупный случай, когда разработчик публично признаёт вынужденную изоляцию собственной модели из-за киберрисков, а не из-за качества ответов или этических вопросов. Порог, при котором ИИ приходится ограничивать до релиза, сместился в сторону чисто технических способностей. Для рынка это означает, что оценка новых моделей будет всё сильнее опираться на кибертесты, а сроки вывода мощных систем в открытый доступ — растягиваться. Российским командам защиты стоит закладывать в стратегию появление автономных инструментов.