据TechCrunch AI报道,杰克·多尔西旗下的Block于10月24日发布其研究实验室开发的新语音模型Dessa,该模型可在本地运行,并能用笑声、停顿和哭声等表达,声音接近人类。Block称,Dessa完全以人类语音训练,训练使用单块NVIDIA GPU。
Dessa是全双工模型,可以一边说话一边收听,类似OpenAI今年早些时候发布的GPT-Live。通常语音模型会与大语言模型搭配以获取知识,Block称Dessa的知识来自其拥有的对话数据。
Block在博客文章中称,当前模型因语音生成流程中包含文本,可能听起来不自然且令人烦扰。ElevenLabs v4或Fish Audio Drama 3等模型使用语音标签驱动语音生成中的情绪。Block声称Dessa的情绪已内置在模型中,但尚不清楚这种情绪是否由某种标签控制。Block称:“与当前语音AI互动可能很糟糕。它把你的声音转成文本,丢弃了大量文本无法承载的信息。世界上最强大的AI听不出你的感受。我们认为这很荒谬,会导致更差的体验,并可能带来危险。”
Block研究人员发布了多个与Dessa对话的示例,代理在其中使用不同声音、节奏和情绪。例如,在一段对话中,机器人说自己工作累了,此时它的声音听起来疲惫;另一个示例中,机器人谈到对方让它感到舒适,声音带有情绪,几乎要哭出来。还有一个示例显示Block团队成员与语音助手玩游戏。
Block称,该模型可在MacBook M4 Max或更高配置的消费级电脑上本地运行。目前Dessa没有公开访问渠道,Block已公开招募安全研究人员测试该模型,这很可能是为了测试语音代理在通话另一端欺骗他人的情形。
Block业务涉及金融,并向小企业销售解决方案。Square已经使用语音AI处理点单。凭借可在设备上运行的自家语音模型,Block能以更低成本支持更多商业和消费者体验。