Разработчик встроил процессор RISC-V в Qwen 3.5 для точных вычислений
Изображение: OpenAI
Разработчик встроил процессор RISC-V в языковую модель Qwen 3.5 4B: экспериментальная версия под названием Qwenputer выполняет точные вычисления без внешних инструментов. Об этом автор проекта рассказал в блоге divagr.com.
По данным разработчика, 32-битный процессор выполнил 18 млн инструкций подряд без единой ошибки и без коррекции со стороны эталонной машины. В заданиях NUPA на арифметику с длинными целыми числами точность Qwenputer достигла 100% против 48,6% у исходной модели — столько же, сколько у Qwen с инструментом Python.
Процессор работает в дополнительных слоях нейросети, веса которых задаёт компилятор. Исходные веса Qwen остаются неизменными, дообучение не требуется. Модифицированные слои Gated DeltaNet — линейной рекуррентной сети, которую Qwen 3.5 использует в трёх из четырёх слоёв внимания, — служат оперативной памятью с точным чтением и записью значений. Код на C и MicroPython исполняется прямо во время генерации токенов, без обращения к внешним инструментам.
Автор также добавил экспериментальную файловую систему, которая хранит до 512 файлов в состоянии модели. Их можно сохранить между диалогами: для этого нужно записать состояние после одного разговора и загрузить его перед следующим.
Для запуска достаточно одной видеокарты с 24 ГБ памяти, но нужна небольшая программа RvChat, которая загружает прошивку процессора в состояние модели. Файл весов занимает 18,8 ГБ, а крупные вычисления длятся секунды, а не миллисекунды.
Код проекта опубликован на GitHub, а модель — на Hugging Face и ModelScope.
