Reflection выпустила открытую модель Beam с 501 млрд параметров для написания кода
Изображение: OpenAI
Разработчик ИИ Reflection выпустил открытую языковую модель Beam с 501 млрд параметров для программирования и работы ИИ-агентов, сообщает Hugging Face. Модель можно запускать на собственном оборудовании и дообучать под свои задачи; её контекстное окно вмещает до 1 млн токенов.
Beam использует архитектуру MoE: при обработке каждого токена задействованы около 23 млрд параметров, но в памяти нужно держать все веса модели. В формате BF16 они занимают примерно 1 ТБ, а в NVFP4, где большая часть параметров хранится с точностью 4 бита, объём сокращается примерно до 280 ГБ.
Версия NVFP4 рассчитана на ускорители NVIDIA Blackwell. Веса помещаются на двух B200, но для длинного контекста и одновременной обработки запросов авторы публикации рекомендуют четыре таких ускорителя. Для чипов Hopper и Ampere доступны веса в формате FP8. На ускорителях Hopper эту версию запускают на восьми H200.
Модель принимает и выдаёт только текст, умеет вызывать инструменты и сохранять рассуждения в контексте между репликами. Пользователь может выбрать один из пяти уровней глубины рассуждений. Вместе с Beam вышла открытая программная обвязка на Rust.
Опробовать модель без собственного оборудования можно у облачных провайдеров Baseten, Fireworks и Together. Авторы также подготовили примеры дообучения на размеченных данных и обучения с подкреплением. С первого дня модель поддерживают:
- Transformers;
- SGLang;
- vLLM.
