Xiaomi опубликовала аудиомодель MiDashengLM-Spatial, которая определяет, откуда идёт звук

Xiaomi опубликовала веса и код для запуска аудиомодели MiDashengLM-Spatial, которая распознаёт звуки и оценивает положение и движение их источников. Как сообщает Pandaily, модель доступна по лицензии Apache 2.0, которая разрешает исследования и коммерческое использование.

Xiaomi называет её первой в отрасли открытой моделью сквозного анализа пространственного звука. Авторы технического отчёта оговаривают, что это верно, насколько им известно. Независимой проверки этого заявления пока не было.

Для пространственного анализа нужен многоканальный звук: модель обучали на бинауральных двухканальных записях. Монофонический звук она тоже принимает, но сведений о направлении источника в таком сигнале нет.

Основой разработки стала ранее открытая MiDashengLM-7B, к которой добавили пространственный аудиоэнкодер. Отдельный модуль раздельно обрабатывает сведения о самих звуках и о положении их источников, а затем объединяет их. Согласно карточке на Hugging Face, в новой модели около 8 млрд параметров. По данным исследователей, в базовых задачах анализа аудио она работает на уровне других аудиоязыковых моделей такого размера.

По словам Xiaomi, технологии семейства Dasheng уже работают более чем в 30 приложениях её умного дома и автомобилей, где распознают речь, окружающие звуки и музыку. Эта цифра относится к прежним моделям серии, а не к новой. MiDashengLM-Spatial компания планирует постепенно внедрять в умные дома и автомобильные системы. По замыслу компании, определение местоположения голоса или сигнала тревоги может помочь ассистентам точнее реагировать на них. Сроков внедрения и конкретных продуктов Xiaomi пока не назвала.