Thinking Machines Lab выпустила открытую ИИ-модель Inkling 2 Mini для запуска на ноутбуках

Thinking Machines Lab выпустила открытую ИИ-модель Inkling 2 Mini для запуска на ноутбуках

Изображение: OpenAI

Thinking Machines Lab выпустила Inkling 2 Mini — ИИ-модель с открытыми весами, которую можно запускать на ноутбуке без интернета. В исходном формате, где большая часть весов хранится с 4-битной точностью NVFP4, а последние четыре слоя — с 8-битной MXFP8, модель занимает около 20 ГБ памяти.

Разработчики проверили модель прямо в самолёте: на MacBook Pro без интернета она за несколько минут написала работающий авиасимулятор.

У Inkling 2 Mini 26,4 млрд параметров, из них 3,4 млрд активных. При обработке каждого токена модель трижды пропускает данные через 12 средних слоёв из 24, каждый раз используя те же веса. Модель принимает текст и изображения и поддерживает контекст до 1 млн токенов.

По данным разработчика, в тесте на программирование DeepSWE v1.1 Inkling 2 Mini набрала 48,2% и обошла все другие открытые модели, у которых меньше 100 млрд параметров. В тесте MultiChallenge на диалоги из нескольких реплик и в ComplexConstraints v1.1 на выполнение инструкций с множеством ограничений она уступила Qwen3.8-27B.

Одновременно компания выпустила исследовательскую версию, в которой можно менять число проходов через средние слои. В тесте компании на последовательные рассуждения результат этой версии продолжал расти с увеличением числа проходов до десяти — вдвое больше, чем при обучении. По предварительным наблюдениям Hugging Face, один или два прохода вместо трёх заметно ускоряют генерацию, но качество ответов может немного снизиться.

Основную версию можно запустить с помощью:

  • Transformers;
  • Llama App или llama.cpp;
  • MLX;
  • SGLang на серверных GPU с архитектурой SM103.
Сергей
Автор: Сергей
Пишу о кибербезопасности и информационных технологиях на простом и понятном языке
Комментарии:

Как мы обрабатываем данные: политика обработки персональных данных