据SiliconANGLE报道,微软公司在10月1日的社交平台帖子中宣布,推出其首款流式转录模型MAI-Transcribe-2-Streaming,并同时发布MAI-Voice-2.1和MAI-Voice-2.1-Flash两款文本转语音模型,进一步扩展MAI人工智能模型家族。这些模型面向希望构建语音代理的开发者,目标是让代理能够听取用户说话并即时回应,接近人与人对话的方式。
三款模型中,微软认为最重要的是MAI-Transcribe-2-Streaming。公司称,该模型通过WebSocket接收人类语音,并在用户持续讲话时不断更新转录文本;用户说完后,它会确认最终转录结果。微软表示,这一能力可支持实时字幕类应用,也可让应用在用户尚未说完请求时就开始处理。
MAI-Transcribe-2-Streaming已在Vercel AI Gateway上线,定价为每音频小时0.54美元。它支持60多种语言,并能自动检测用户所说的语言。微软称该模型平均在320毫秒内给出首批转录假设,但无法保证所有场景都达到这一表现,因为响应速度还取决于网络连接和生成回复的AI系统。
微软并非首次推出转录模型。据SiliconANGLE报道,该公司上月发布了MAI-Transcribe-2,定价为每音频小时0.10美元,比流式版本便宜五倍以上。价格差异主要因为流式模型在音频仍在传入时持续返回临时结果,需要更多处理;常规MAI-Transcribe-2则等待说话者结束后再开始处理。
另外两款模型聚焦由文本生成语音,对话式AI代理同样依赖这类能力。MAI-Voice-2.1被描述为更适合表达力强、保真度高的输出,MAI-Voice-2.1-Flash则降低这些特性,以换取更快响应和更低成本。根据Vercel AI Gateway的标价,MAI-Voice-2.1为每百万字符22美元,Flash版本为每百万字符15美元。两款文本转语音模型均支持23种语言。
这些发布显示微软正加快减少对OpenAI和Anthropic等模型供应商的依赖,尽管微软是这两家公司的重要投资者。据SiliconANGLE报道,今年7月有消息称,微软AI首席执行官Mustafa Suleyman越来越担心OpenAI和Anthropic前沿模型的成本,并要求微软AI研究人员加倍投入MAI模型家族,最终目标是让这些模型为Excel和Outlook等平台中的Copilot代理提供支持。Suleyman在接受彭博社采访时说:“我们向Anthropic支付了很多钱,所以我们的目标是减少并最终消除这项成本。”
据SiliconANGLE报道,借助新模型,微软已具备构建强大语音AI代理所需的组件。语音代理通常需要完成三件事:识别并理解用户的话,根据内容决定做什么,最后生成可听见的回应。MAI-Transcribe-2-Streaming负责第一项,MAI-Voice模型解决第三项,中间则由微软的推理模型Mai-Thinking-1承担,它作为标准大语言模型读取对话转录,判断代理应执行什么操作。通过使用三个独立模型,开发者可在质量、延迟和成本之间获得更多控制权。