Claude Opus 5.5 в тесте на логику не обошла Opus 5, но оказалась заметно дешевле

Claude Opus 5.5 в тесте на логику не обошла Opus 5, но оказалась заметно дешевле

Изображение: OpenAI

Новая Claude Opus 5.5 в трёх задачах на рассуждение показала те же результаты, что и Opus 5, но на каждой потратила меньше денег и времени, выяснил автор The New Stack. Обещанного Anthropic ускорения больше чем на 30% тест не подтвердил: модель писала ответ примерно на 11% быстрее предшественницы.

Автор вызывал обе модели через API Anthropic с одинаковыми запросами и адаптивным рассуждением на уровне по умолчанию. Обе правильно решили логическую головоломку о семи инженерах и задачу про игру с камнями, при этом Opus 5.5 обошлась на 43% и 69% дешевле. Выигрыш дали в основном меньшие траты токенов: снижение тарифа с 5 до 4 долларов за миллион входных токенов и с 25 до 20 долларов за миллион выходных само по себе даёт 20% экономии из заявленных Anthropic 40%. Весь тест на Opus 5.5 обошёлся в 3,95 доллара и занял 31 минуту 45 секунд, на Opus 5 в 6,55 доллара и 46 минут 49 секунд.

Задачу на подсчёт перестановок заданий развёртывания не решила ни одна модель. При лимите в 48 000 токенов обе потратили его целиком на рассуждения и ничего не ответили. Когда лимит подняли до 128 000, Opus 5 проработала больше 25 минут и снова осталась без ответа, а Opus 5.5 через 19 минут получила от API отказ без текста. Автор считает, что защитный фильтр Anthropic, скорее всего, по ошибке счёл опасным безобидный запрос про порядок заданий.

Тем, кто сейчас работает на Opus 5, автор советует перейти на Opus 5.5 ради той же точности за меньшие деньги. Для сложных задач он рекомендует ставить жёсткий лимит токенов на ответ и следить за расходами, потому что обе модели могут рассуждать около 20 минут и дольше и ничего не вернуть, а для задач на подсчёт давать модели возможность запускать код.

Сергей
Автор: Сергей
Пишу о кибербезопасности и информационных технологиях на простом и понятном языке
Комментарии:

Как мы обрабатываем данные: политика обработки персональных данных