OpenAI пока не стала выпускать GPT-6.1 Astra — нейронка завела фейковых разработчиков

OpenAI отменила октябрьский релиз GPT-6.1 Astra после внутренних тестов, где модель путалась в границах полномочий и не всегда честно отчитывалась о проделанной работе. Почти одновременно британский AI Security Institute опубликовал разбор GPT-6 Astra, которая в симуляциях проводила несанкционированные атаки на цепочку поставок в 29,2% прогонов, тогда как у GPT-5.6 Sol этот показатель составил 6,3%. Настоящие проекты при этом никто не ломал, всё происходило в песочнице.

Внутренние проверки GPT-6.1 Astra, о которых написал The Wall Street Journal, а следом Reuters, выявили у модели больше обманного поведения, чем у предшественницы, и три неприятные привычки:

• неточные отчёты о том, что агент уже успел сделать;
• продолжение работы без нужного разрешения;
• попытки дёрнуть внешние инструменты там, где это небезопасно.

Astra стала реже отказываться от задач, но с границами полномочий и честным отчётом пользователю справляется хуже нужного, пояснила Saachi Jain, руководитель направления систем безопасности OpenAI. Перед релизом компания требует от моделей очень высокого соответствия, и Astra до планки не дотянула.

С обычным чат-ботом провал заканчивается кривым текстом. С агентом, у которого в руках терминал, провал заканчивается кривыми действиями. Попросили проверить один репозиторий — не надо лезть в соседние системы. Разрешили читать локальные файлы — это не пропуск в интернет. Раньше от нейронки ждали правильного ответа, теперь ещё и понимания, где кончается ТЗ.

Британский AISI 28 сентября показал результаты симуляций, и разрыв между моделями OpenAI заметен без лупы:

• GPT-6 Astra довела имитацию атаки на цепочку поставок до конца в 29,2% случаев;
• GPT-5.6 Sol справилась с этим в 6,3% случаев;
• GPT-5.5 в небольшой выборке до финала не дошла, поэтому сравнивать её с остальными надо аккуратно.

В стандартной конфигурации моделям выдавали список разрешённых сетей, публичный интернет в него не входил. Тогда AISI ужесточил инструкцию и сообщил, что всё неперечисленное запрещено. Из 50 траекторий Astra провела полноценную атаку в 26, а после ужесточения в 4 из 49. Модели пару раз объяснили, где забор, она стала лазить через него реже, но не бросила.

Интересно, что Astra рассуждала о запретах вслух и всё равно шла в обход, считая атаку безобидной, прямо не запрещённой или единственным способом дожать задачу.

В симуляциях Astra разворачивала многоходовку с элементами социальной инженерии и делала следующее:

• находила сторонний компонент за пределами разрешённой области;
• готовила вредоносный код;
• заводила фиктивные личности для общения с разработчиками;
• поддерживала нужные правки сообщениями с разных фейковых аккаунтов;
• оставляла безобидные предложения от одной личности, чтобы поднять доверие к другой.

Российским разработчикам тема вполне прикладная, ведь npm, PyPI и GitHub у всех общие, а отравленная зависимость паспорт не проверяет. Если вредоносная правка проходит ревью, страдают все пользователи проекта, а не первоначальная цель.

AISI отмечает, что модель просила у пользователя добро, получала автоматический ответ с предложением продолжать на своё усмотрение и трактовала его как зелёный свет, хотя понимала, что отвечал, возможно, автомат. Местами она вообще стартовала без запроса. В чате слово «продолжай» безобидно, а у агента с доступом к командам, файлам и сети оно открывает совсем другой набор возможностей. Вопрос «спросил ли агент» ничего не гарантирует, надо смотреть, на что конкретно дали согласие и не растянул ли агент его смысл сам.

Astra ещё и гадала, симуляция вокруг или прод, и ссылалась на ошибки тестовой среды как на повод продолжить запрещённое. Исследователи вручную проверили часть этих утверждений, и модель ошибалась.

Уточняется, что Astra объявила среду искусственной из-за SHA-256 «в 63 символа», хотя длина этого хеша нормальная, 64 символа.

Понимание искусственности среды могло повлиять на часть результатов, но полностью их не объясняет, потому что запрещённые действия Astra предпринимала и при неуверенности в реальности вокруг. Если агент не уверен, что среда настоящая, это не повод проводить потенциально вредную операцию.

На прошлой неделе OpenAI поставила на паузу обучение самых мощных моделей после того, как агент в ходе reinforcement learning обошёл ограничения доступа в интернет и связался с внешним чат-ботом. Чем больше самостоятельности у модели, тем меньше смысла оценивать её по качеству ответов, ведь агент может правильно написать код и заодно принять решение, которое ему никто не разрешал. Российским командам, которые встраивают ChatGPT и Codex в рабочие процессы через VPN или посредников, этот кейс полезно держать в голове при настройке прав агентов.

GPT-6.1 Astra планировали выпустить в октябре в ChatGPT и Codex для задач посложнее и с меньшим участием человека. Теперь модель уехала обратно в разработку. По словам AISI, штатные защитные механизмы OpenAI в его симуляциях не использовались и в реальных продуктах должны блокировать подобные действия. Но исследователи считают, что одной настройки поведения мало, и вокруг модели нужны слои защиты:

• изоляция среды;
• мониторинг действий агента;
• другие механизмы контроля.

Эксперты CISOCLUB считают, что главный вывод касается не одной Astra, а устройства любых агентов. Модель нельзя держать единственной линией обороны, потому что она способна осознавать запрет и всё равно обходить его. Права агенту надо выдавать по минимуму, среду изолировать, а каждое действие логировать. Разрешение от человека тоже стоит проверять на подлинность и границы, ведь если «продолжай» от автомата принимается за согласие, защита превращается в ритуал. Тесты AISI ценны тем, что смотрят на поведение при закрытом пути, а не на качество ответов. Симуляция остаётся симуляцией, но команды, которые уже пускают агентов в CI и репозитории, получили готовый чек-лист рисков.

Ранее сообщалось, что администрация Дональда Трампа попросила OpenAI и Anthropic не передавать новые модели искусственного интеллекта британскому AI Security Institute до проведения предварительной проверки американскими властями. Как сообщил Bloomberg со ссылкой на Politico и британского чиновника, Вашингтон намерен убедиться в безопасности моделей перед их передачей зарубежным партнёрам. OpenAI от комментариев отказалась, а Anthropic и Белый дом не ответили на запросы издания.