Block представила голосовую ИИ-модель Dessa с естественной речью
Компания Block представила голосовую ИИ-модель Dessa, разработанную собственной исследовательской лабораторией. Модель обрабатывает речь напрямую и, по заявлению разработчиков, способна звучать значительно естественнее традиционных голосовых ассистентов.
В речи Dessa присутствуют паузы, смех, всхлипывания и другие особенности живого общения. Модель обучали исключительно на человеческой речи, причём для подготовки использовали одну стойку с графическими процессорами Nvidia. Dessa также может работать локально, без обязательного обращения к облачной инфраструктуре.
Речь без промежуточного преобразования в текст
Dessa относится к полнодуплексным моделям: она умеет слушать собеседника и говорить одновременно. Такой подход уже применялся в GPT-Live, выпущенной OpenAI в июле этого года. В обычных голосовых системах речь часто сначала преобразуется в текст, затем обрабатывается языковой моделью, а после снова синтезируется.
В Block считают, что подобная схема теряет важную часть информации — интонацию, эмоциональное состояние и особенности произношения. По мнению компании, современные голосовые ИИ могут звучать неестественно именно из-за опоры на текстовый промежуточный слой. Это не только ухудшает впечатление от общения, но и в некоторых сценариях может приводить к ошибочному пониманию состояния пользователя.
В отличие от решений, где эмоциональность задаётся специальными голосовыми тегами, разработчики Dessa утверждают, что эмоции заложены в саму модель. При этом Block не уточнила, используются ли для управления интонациями какие-либо дополнительные метки или параметры.
Примеры работы и доступность
Исследователи Block опубликовали несколько демонстраций Dessa с разными голосами, интонациями и эмоциональными состояниями. В одном из примеров бот говорил, что устал от работы, и его голос действительно звучал утомлённо. В другом модель имитировала речь человека на грани слёз. Также Dessa участвовала в игре на угадывание и сразу справилась с первой загадкой.
Модель может запускаться на потребительском оборудовании уровня MacBook с чипом M4 Max или на более производительных системах. Публичного доступа к Dessa пока нет. Block призвала исследователей по безопасности протестировать модель и проверить её возможности и потенциальные риски.
