Tencent выпустила открытую модель синхронного перевода с клонированием голоса
Изображение: OpenAI
Tencent выпустила открытую модель Hy-SimulMT для синхронного перевода устной речи между китайским и английским языками, сообщает Pandaily. Она переводит, пока человек ещё говорит, и в реальном времени имитирует его голос.
В тесте RealSI на длинных записях Tencent получила задержку около 3 секунд по метрике StreamLAAL — меньше, чем у других систем, участвовавших в сравнении. Этот показатель не равен времени до начала озвучивания перевода; для сравнения, по данным IT Home, у профессиональных синхронистов задержка обычно составляет 4–5 секунд.
По оценке Tencent, на длинных записях Hy-SimulMT опередила по метрике качества GEMBA открытые модели из сравнения и четыре из пяти коммерческих API.
Модель использует архитектуру «смесь экспертов» и доступна по лицензии Apache 2.0. Разработчики также выпустили вариант, который дополнительно выдаёт расшифровку исходной речи.
В комплект входят сервер на базе vLLM с веб-интерфейсом и WebSocket API, а также инструмент для дообучения на отраслевых данных.
Модель уже можно бесплатно использовать в приложении Hy Translate.
