StepFun открыла веса Step 5 Preview с контекстом до миллиона токенов
Изображение: OpenAI
StepFun 15 октября опубликовала веса модели Step 5 Preview, рассчитанной на длительную работу ИИ-агентов, сообщает Pandaily. Модель поддерживает контекст до 1 млн токенов, а веса доступны в форматах BF16 и FP8. По словам компании, сейчас модель занимает второе место в мире в дневном и недельном рейтингах использования OpenRouter.
Скачать веса можно с Hugging Face и ModelScope, но стандартная открытая лицензия на них не распространяется. StepFun выпустила их под собственной StepFun Model License 1.0. Компания описывает её как близкую к Apache-2.0, но с дополнительными требованиями к указанию авторства и условиями коммерческого лицензирования.
Step 5 Preview использует архитектуру смеси экспертов: из 600 млрд параметров при обработке каждого токена активны 27 млрд. Согласно карточке модели, для запуска FP8-версии достаточно одного узла с четырьмя GPU B300 или восемью H200. Варианту BF16 нужны восемь B300 либо два узла по восемь H200.
Разработчики могут развернуть модель с помощью vLLM или SGLang и работать с ней через API, совместимый с API OpenAI. Для локального выполнения запросов без API можно использовать Transformers. При этом StepFun пока не проверила полностью работу Transformers с разбитыми на части весами BF16.
