[email protected] | 帮助中心 |
Block 公司近日发布了一款名为 Dessa 的语音模型,它能够本地执行,并具备模仿笑声、停顿、哽咽等多种情绪的能力,听起来非常逼真。该模型由 Twitter 联合创始人杰克·多尔西(Jack Dorsey)领导的 Block 推出,其训练数据全部来自人类语音,且仅使用了一组英伟达 GPU 机架完成训练。
Dessa 是一款全双工模型,类似于 OpenAI 今年早些时候发布的 GPT-Live,可以在说话的同时聆听用户的声音。大多数主流语音模型需要依赖大语言模型来获取知识;Block 表示,Dessa 的知识来源于其训练过程中使用的对话数据。
Block 指出,当前语音 AI 体验往往显得生硬和不自然,根本原因在于生成流程需要先将语音转换为文本,再通过文本驱动语音合成。许多模型,如 ElevenLabs v4 和 Fish Audio Drama 3,依赖语音标签来控制情绪。而多尔西的公司声称,情绪表达是模型原生集成的,不过目前尚不清楚其底层是否仍依赖某种标签来调节情绪。
Block 在博客中写道:“现在的语音 AI 交互体验非常糟糕。它会将你的语音转化为文字,大量无法通过文字承载的信息直接丢失。即使是全球最强大的 AI,也无法感知你的情绪。我们认为这很不合理,不仅体验差,还存在潜在风险。”
研究团队发布了多段与 Dessa 的对话示例,该智能体能够切换音色、语速和情绪。例如,在一段对话中,AI 表示自己工作很累,发声状态也同步表现出疲惫感。
另一段示例中,AI 在谈论对方给自己带来安心感时,语气充满情绪,几乎哽咽。还有一段演示展示了 Block 员工与这个语音助手一起玩游戏。
官方说明,该模型可以在消费级电脑上本地运行,设备门槛为 M4 Max 及更高配置的 MacBook。但目前 Dessa 暂不对外开放试用,Block 正向安全研究人员发出测试邀请,重点测试这类语音智能体欺骗人类的风险场景。
据IT之家了解,Block 的主要业务是金融服务,为小微企业提供解决方案,旗下 Square 已经在使用语音 AI 处理下单业务。自研这款可端侧运行的语音模型后,Block 有望以更低成本,落地更多面向商户与普通用户的语音产品。