ИИ-агент Memento 3 прошёл все открытые игры теста ARC-AGI-3

ИИ-агент Memento 3 прошёл все 25 игр и 183 уровня в открытом наборе теста ARC-AGI-3, сообщает Pandaily со ссылкой на QbitAI. Его создали на базе Claude Opus 5 исследователи лаборатории Noah’s Ark компании Huawei, Университетского колледжа Лондона и других команд.

В ARC-AGI-3 агент попадает в незнакомые игры с пиксельной графикой без описания правил, цели и последствий действий. Успех на открытом наборе не показывает, как система справится со скрытыми играми, на которых проверяют способность решать новые задачи.

Агенту понадобилось 7518 действий против 17 135 у людей. Система получила максимальные 100 баллов по показателю эффективности действий относительно человека. Прежний лучший результат на открытом наборе был у агента baseline1 независимого разработчика Сергея Родионова: он тоже прошёл все игры, но набрал 99 баллов за 8347 действий. Claude Opus 5 работала с максимальной глубиной рассуждений: авторы не меняли веса модели и не дообучали её под отдельные игры. В официальной среде ARC Prize, создателя теста ARC-AGI-3, та же модель в среднем набирает около 40,7 балла, так что прирост даёт устройство агента.

Агент ведёт описание правил и превращает его в Python-код, который имитирует игру. Он планирует ходы в собственном симуляторе, а при расхождении с реальной игрой переписывает и правила, и код. Чтобы проверить точность симуляции, система заново воспроизводит прежние ходы и сравнивает полученные кадры с реальными. Все изменения сохраняются в Git, что позволяет откатить неудачные правки.

В отдельном испытании на Atari Pong агент изучил физику отскоков, после чего созданная программа играла без обращений к языковой модели и выиграла три партии со счётом 21:0. Авторы отмечают высокий расход токенов при изучении правил. Работу системы в более сложных реальных условиях пока не проверяли.