Gradium открыл веса Phonon для синтеза речи на устройстве без интернета
Изображение: OpenAI
Разработчик речевого ИИ Gradium открыл веса моделей Phonon, которые озвучивают текст на устройстве без интернета и не отправляют его на сервер. По сообщению компании в блоге Hugging Face, англоязычная Phonon 31m доступна по лицензии Apache 2.0, в том числе для коммерческих продуктов.
Выпуск состоялся в октябре. За первые две недели Phonon скачали более 200 тыс. раз.
Две версии модели занимают около 65 и 75 МБ. Phonon 40m распространяется по лицензии CC BY-NC для некоммерческих проектов и поддерживает пять языков: английский, французский, немецкий, испанский и португальский.
В Phonon есть более 100 встроенных голосов. В Gradium Studio можно клонировать голос по короткой записи с согласия говорящего или создать новый по текстовому описанию. Готовый файл голоса загружается в Phonon и затем работает целиком на устройстве.
В открытом рейтинге моделей синтеза речи Phonon занимает первое место по разборчивости речи на немецком и испанском языках. Также она входит в тройку лучших по всем языкам, на которых её тестировали, наряду с моделями, которые превосходят её по размеру до 100 раз. В тесте потокового синтеза речи на процессоре модели также быстрее остальных выдавали первый фрагмент аудио.
