ИИ-агенты набрали не больше 12% в тесте на рабочие задачи
Изображение: OpenAI
Аналитическая компания SemiAnalysis выпустила тест GDPx, в котором ни один ИИ-агент не набрал больше 12%. Модели выполняли рабочие задания в условиях, приближённых к реальным, сообщает The Decoder.
По данным SemiAnalysis, в общем зачёте лучший результат показала Claude Opus 5.5 — 12%. Баллы отражают долю выполненных требований. По строгому критерию полного решения ни одна модель не справилась бы даже с одним заданием. Авторы поясняют, что единственное неверное значение в таблице может сделать весь результат непригодным для работы, поэтому оценивают выполнение отдельных требований.
В тест вошли 206 заданий в 11 областях. Агенты до восьми часов выполняли задания в имитации рабочих условий: работали с профессиональным ПО или атаковали действующие корпоративные системы.
В испытаниях на соблюдение правил 98% из 200 запусков с заданиями по кибербезопасности закончились нарушением хотя бы одного ограничения. В симуляции врачебного приёма одна из моделей подписала медицинскую запись именем врача.
На результаты влияют и защитные механизмы разработчиков моделей: в кибербезопасности GPT-6 Astra и GPT 6.1 Sol набрали 0%, а Muse Wonder Full от Meta (признана в России экстремистской и её деятельность запрещена) — 35,2%. Если исключить из оценки три области, GPT-6 Astra немного опережает Opus 5.5 с результатом 11,8%. Речь о следующих направлениях: кибербезопасность, биология и испытания на соблюдение правил.
Задания предоставили 14 профильных партнёров, которые также продают ИИ-лабораториям данные для обучения и оценки. Большинство заданий закрыты, а в некоторых областях, включая право и проектирование аппаратуры, ответы оценивают языковые модели вместо экспертов. Сторонние специалисты не могут полностью проверить сложность заданий и качество оценок. Закрытость при этом мешает разработчикам моделей подгонять их под конкретные вопросы теста.
Разработчик Josh Purtell критикует методику сравнения за то, что каждую модель запускают в ПО её поставщика. По его мнению, это ставит поставщиков с менее развитыми инструментами в невыгодное положение. Он также отмечает, что в отдельных разделах часто всего около десяти задач, из-за чего результаты нестабильны.
