GPT-6-Astra решила 49 из 50 задач в тесте по теоретической физике
Изображение: OpenAI
Модель GPT-6-Astra решила 49 из 50 задач теста TheoPhysEval по теоретической физике с доступом к веб-поиску и без подсказок человека. По данным авторов исследования, работа GPT-6-Astra в среде Codex от OpenAI обошлась в среднем менее чем в $3 за задачу.
Набор охватывает 11 разделов теоретической физики и проверяет применение известных методов к изменённым условиям, сообщает The Decoder. Авторы намеренно исключили крупные нерешённые проблемы. Во многих заданиях исследователи меняли исходные значения в расчётах из своих недавних статей, чтобы готовый ответ нельзя было взять из публикации.
Второе место заняла модель Opus 5.5 от Anthropic в Claude Code, решившая 92% задач. Без доступа к интернету Astra и Opus показали одинаковый результат, тоже 92%. Авторы считают слабую зависимость от веб-поиска признаком того, что ведущие модели фактически запомнили значительную часть литературы по теоретической физике.
Несколько предполагаемых ошибок ИИ оказались неточностями в эталонных решениях экспертов. После исправления этих решений ответы Astra во всех таких случаях признали верными.
Единственная задача, которую Astra не решила с веб-поиском, не поддалась и остальным участникам теста. Нужно было найти уравнение, которое описывает заданную кривую. Авторы признают, что задачу можно счесть нечестной: эталонное решение лишь в широком смысле соответствует требованию найти дифференциальное уравнение. При этом они считают её реалистичной, поскольку исследователям часто приходится восстанавливать физические закономерности по неточным данным.
Авторы пишут, что некоторые из сильнейших моделей, возможно, уже превзошли лучших исследователей-людей в конкретных расчётах, и называют это важной вехой, но отделяют успех в расчётах от способности самостоятельно делать открытия. По их наблюдениям, агентам пока трудно выбирать интересные научные вопросы и переключаться на более простые, но не менее интересные задачи, когда исходные оказываются слишком сложными. Авторы подчёркивают, что эти наблюдения нельзя оценить количественно и что они не служат прогнозом развития ИИ.
До недавнего времени некоторые задания из теста подходили для первых исследовательских проектов начинающих учёных. Теперь авторы считают, что использовать их для этого не стоит, если цель не сводится исключительно к освоению материала.
