Fable 5.2 выполнила 41,3% фриланс-заказов в тесте против 2,5% у лидера год назад
Изображение: OpenAI
Модель Fable 5.2 компании Anthropic выполнила 41,3% заданий в тесте RLI на реальных фриланс-проектах с платформы Upwork, сообщает The Decoder. При запуске теста около года назад его лучший участник, Manus, справился лишь с 2,5% заданий.
Результат более чем вдвое выше, чем у её предшественницы Fable 5.1, и почти вдвое выше, чем у следующих в рейтинге Opus 5.5 от Anthropic (21,25%) и GPT 6 Astra от OpenAI (20,83%).
Набор заданий включает 240 завершённых проектов с Upwork общей стоимостью около $144 тыс.
Специально обученные эксперты-люди открывают сданные агентами файлы в профессиональных программах и сравнивают их с результатами работы фрилансеров. CAIS пока не удалось поручить проверку другому ИИ: модели с трудом работают в этих программах и слишком высоко оценивают работы, которые выглядят убедительно, но содержат технические ошибки.
По данным Scale Labs, Fable 5.2 по-прежнему почти не справляется с промышленным дизайном и анимацией, а наибольший прогресс показала в следующих задачах:
- редактирование аудио и музыки;
- архитектурное проектирование и дизайн интерьеров;
- создание 3D-моделей.
Агент также справляется с длительными и сложными проектами, на которых прежде регулярно проваливались модели-лидеры. Среди успешно выполненных Fable 5.2 работ почти 50 прежде не удавались ни одному ИИ-агенту в этом тесте.
