Rock Matrix выпустила EdgeRock-4B с фиксированным объёмом KV-кеша
Изображение: OpenAI
Rock Matrix опубликовала веса небольшой языковой модели EdgeRock-4B с фиксированным объёмом KV-кеша на базе Qwen3.5-4B от Alibaba. По данным команды, при контексте в 256 тыс. токенов кеш занимает 72 МиБ вместо 8 ГиБ у исходной модели.
В тесте команды на одном GPU Hopper с 80 ГБ памяти EdgeRock-4B выдавала в 6,42 раза больше токенов в секунду, чем Qwen3.5-4B. При этом первая модель обслуживала 512 одновременных потоков генерации, а вторая достигала предела при 64 потоках.
Как сообщает Pandaily, Rock Matrix работала с Гонконгским университетом науки и технологий и Университетом Карнеги — Меллона. Команда переработала Qwen3.5-4B без обучения с нуля: в слоях полного внимания ограничила обработку последними 1024 токенами. Чтобы модель не забывала информацию за пределами этого окна, разработчики добавили механизм, который отдельно сохраняет наиболее полезные токены: без него результат в задаче поиска падает с 94,1% до 0,4%.
По данным команды, потери точности невелики: EdgeRock-4B сохранила 96,3% результата исходной модели на AIME и 97,5% на MATH-500. При этом в восьми тестах она превзошла Qwen3.5-4B.
Модель принимает текст и изображения, доступны квантованные версии весов. Команда утверждает, что лицензия модели разрешает коммерческое использование. Разработчики планируют выпустить и более крупные модели.
