ИИ-агенты не смогли полностью решить большинство задач в новом тесте
Изображение: OpenAI
Даже лучшая из десяти моделей для программирования оставила недоделки почти в трёх из четырёх задач в тесте на реальных запросах. Как сообщает The Decoder, код ИИ-агентов в таких случаях приходится дорабатывать вручную.
Лучший результат среди десяти моделей показала GPT-6 Astra: она полностью выполнила 26,4% задач. При этом в среднем модель выполняла около 70% требований каждого задания.
Новый тест Co-Design Bench авторы создали потому, что на существующих бенчмарках модели, способные сами запускать и исправлять код, набирают больше 99% и различия между ними почти не измерить. Для него исследователи взяли запросы из реальных сессий программирования, отдавая предпочтение случаям, когда пользователям приходилось переформулировать задание или откатывать изменения. Поэтому тест преимущественно состоит из задач, с которыми агенты уже испытывали трудности. Задания варьировались от небольших правок до масштабной переработки проектов.
У всех моделей результаты становились тем хуже, чем больше разных типов изменений сочетала одна задача. Авторы отмечают, что такие взаимосвязанные требования типичны для реальных проектов.
Готовое приложение проверял ИИ-судья в браузере, а второй перепроверял все положительные вердикты и искал имитации функций или заранее прописанные результаты. Баллы начисляли только за действительно работающие функции.
Результат зависел и от программной оболочки, через которую агент работает с кодом. В отдельном испытании на крупных переделках проектов Qwen3.8-27B получила 75% в одной оболочке и только 56% в другой. Менялось и то, какая из двух сравниваемых моделей оказывалась впереди. Авторы рекомендуют при публикации результатов всегда указывать модель вместе с оболочкой.
У методики есть ограничения: агент получал один фиксированный запрос без уточняющих вопросов и корректировок пользователя по ходу работы. Сами ИИ-судьи тоже могут ошибаться.
