MemTensor выпустила модели MemT 1.0 с памятью фиксированного размера
Изображение: OpenAI
Китайская ИИ-компания MemTensor выпустила модели MemT 1.0 со встроенной памятью, чтобы снизить затраты на длинные диалоги, сообщает Pandaily.
Большинство систем держат всю историю в контекстном окне, поэтому каждый новый ход диалога делает вывод медленнее и дороже; модели MemT не перечитывают всю историю при каждом запросе. После каждого взаимодействия они записывают новые сведения в обучаемый модуль памяти, а затем используют их при ответах. Размер состояния памяти при этом остаётся фиксированным.
В семейство вошли MemT-1.0-Flash с 288 млрд параметров, из которых 17 млрд активны, и MemT-1.0-Nano с 36 млрд параметров и 3 млрд активных. Обучение проходило в два этапа: сначала модели учились записывать сведения в память, затем отвечать на вопросы с её помощью.
По данным MemTensor, при истории в 256 тыс. токенов состояние памяти одной сессии занимает около 40 МиБ против 5,06 ГиБ у кеша полного контекста, то есть примерно в 130 раз меньше. При таком объёме истории компания также заявляет об ускорении обработки запросов примерно в 3,99 раза по сравнению с подходом, использующим полный контекст. На 11 тестах памяти, по данным компании, Flash и Nano набрали в среднем 50,6 и 47,0 балла: это примерно на уровне подходов с извлечением истории (RAG), хотя сами модели историю при запросе не извлекают. Все показатели производительности получены в собственных тестах компании.
Веса опубликованы на Hugging Face, а код и технический отчёт доступны на GitHub. Разработчикам стоит учитывать разницу в лицензиях: код распространяется по лицензии PolyForm для некоммерческого использования, а веса моделей доступны по лицензиям Apache и MIT.
