Gemini 4 Hydrogen выдумывала сведения лишь в 8% случаев в тесте AA-Omniscience

Gemini 4 Hydrogen выдумывала сведения лишь в 8% случаев в тесте AA-Omniscience

Изображение: OpenAI

Gemini 4 Hydrogen выдумывала сведения лишь в 8% случаев в тесте AA-Omniscience, показала независимая проверка Artificial Analysis. На максимальном уровне рассуждений модель оказалась примерно на уровне Claude Sonnet 5.5.

По оценке исследователей, в этом режиме одна задача обходится примерно в $3,16. Это около трети стоимости задачи у Claude Sonnet 5.5 при близком уровне интеллекта, но примерно в 2,5 раза дороже, чем у GPT-6.1 Sol; обе модели сравнивали в максимальном режиме. При этом максимальный режим Hydrogen расходует почти вдвое больше выходных токенов, чем стандартный.

В работе с терминалом она уступила Claude Sonnet 5.5: в Terminal-Bench 4.0 Hydrogen набрала 54% против 64% у конкурента с максимальным уровнем рассуждений. Результаты независимой проверки приводит The Decoder.

The New Stack отмечает, что Google не раскрыла правила переключения моделей в Antigravity и отдельный результат Carbon, с которым сравнивала совместную работу Carbon и Hydrogen.

Сергей
Автор: Сергей
Пишу о кибербезопасности и информационных технологиях на простом и понятном языке
Комментарии:

Как мы обрабатываем данные: политика обработки персональных данных