Thinking Machines открыла веса Inkling 2 Small с контекстом до 1 млн токенов
Изображение: OpenAI
Thinking Machines выпустила мультимодальную модель Inkling 2 Small с открытыми весами для дообучения и встраивания в сторонние приложения. По данным разработчика на Hugging Face, она принимает текст и изображения, отвечает текстом и поддерживает контекст до 1 млн токенов.
Для локального запуска нужен кластер графических ускорителей. Основной вариант весов в формате NVFP4 требует не менее 500 ГБ суммарной видеопамяти, альтернативный MXFP8 — не менее 800 ГБ. Разработчик рекомендует NVFP4 для любых задач: модель изначально обучали в этом формате.
Inkling 2 Small рассчитана в том числе на ИИ-агентов, которые используют внешние инструменты, и помощников программиста. Она поддерживает английский и другие естественные языки, а также несколько языков программирования. Модель построена по принципу «смеси экспертов» и обрабатывает текст и изображения совместно.
Перед выпуском Thinking Machines провела собственные и внешние проверки безопасности, в том числе оценила возможности модели в сфере кибербезопасности. Часть испытаний проходила на вариантах со снятыми защитными ограничениями. По оценке компании, Inkling 2 Small не даёт существенно больше возможностей для опасных действий, чем уже доступные модели с открытыми весами.
При этом разработчик предупреждает, что встроенных мер безопасности может быть недостаточно. Он рекомендует провести собственную проверку модели перед внедрением, а в критически важных задачах поручать проверку её ответов человеку.
