Команда агентов на базе Qwen3.8-27B обошла Fable 5 на десяти сложных задачах LiveCodeBench
Изображение: OpenAI
Команда из пяти ИИ-агентов на базе Qwen3.8-27B обошла Fable 5 на десяти задачах LiveCodeBench Hard, сообщили разработчики инструмента для запуска ИИ-агентов Memdoor на GitHub. На десяти задачах теста LiveCodeBench команда решала в среднем 9,8 задачи против 9,6 у исходной реализации авторов методики и 8,0 у Fable 5.
Разработчики перенесли в Memdoor ранее опубликованную многоагентную методику, сохранив исходные инструкции и цикл решения, но запускали модель через платформу доступа к моделям OpenRouter, а не на собственном сервере vLLM в FP8, как авторы. Каждую задачу команда решала пять раз — успешными оказались 49 из 50 прогонов. Они обошлись в $35,79.
Выборка ограничена десятью задачами вместо ста в исходной работе. Они взяты из соревнований с 29 марта по 6 апреля 2025 года. Разработчики Memdoor не исключают, что модель видела эти задания при обучении.
Результат Fable 5 взяли из файлов исходной работы: там модель вызывали один раз для каждой задачи. В Memdoor её не запускали.
Каждый агент начинал с чистого контекста и обменивался данными с остальными только через файлы. Проверку на открытых примерах проводил скрипт, а не модель. Итоговую оценку выставляли по скрытым тестам, которых агенты не видели.
В единственном неудачном прогоне управляющий агент придумал контрпример с неверным ожидаемым ответом, после чего команда заменила правильное решение ошибочным. Новая программа прошла открытые примеры, но провалила часть скрытых тестов.
Ещё в двух прогонах команда перезаписала верные программы, поскольку управляющий агент не сообщил, что задача решена. В обоих случаях до конца цикла удалось восстановить правильные решения.
