据 MarkTechPost 报道,Fish Audio 本周发布开源权重文本转语音模型 Fish Audio Drama 3,该模型总参数 35B,采用混合专家架构,每个 token 激活约 3B 参数,权重已在 Hugging Face 发布,并同步上线 Fish Audio API。用户可用自然语言表演指令控制语音表达。
Drama 3 把剧本与方括号内的表演提示一起转换为带表演的语音,写作者可在台词前加入类似 [barely holding it together] 的提示。官方文档称,成对标签只改变被括住的内容,指令语言可与台词语言不同。模型支持 83 种语言,说话人标签 <|speaker:0|> 至 <|speaker:15|> 允许单次请求最多出现 16 个角色,API 为每位说话人接收一个音色 ID,整场戏可在一次调用中渲染完成。
架构上,Drama 3 以 Qwen3.5-35B-A3B 语言模型为主干,共 40 层,每 3 层 Gated DeltaNet 配 1 层带门控的全注意力层,每 4 层中只有 1 层保留 KV 缓存。新的 Codebook-MTP 解码器取代 S2 的逐帧 Fast AR 解码器,由 4 个共享层驱动 9 层、每个声学码本对应 1 层,只有码本 0 和 1 反馈回主干,S2 则反馈全部 10 个。音频分词器沿用 S2 的 Descript Audio Codec,输出 44.1 kHz 音频,速度约每秒 21.5 帧。训练经过 3 个预训练阶段、指令微调,随后用不带 KL 惩罚的 GRPO 和单一人类偏好奖励模型做强化学习。上下文长度未披露。
基准测试方面,Fish Audio 称 Drama 3 在 Artificial Analysis 发音稳健性测试中总体得分 93.2%,排名第一,前代 S2.1 Pro 为 88.1%。品牌、地名和技术术语得分 95.9%(S2.1 Pro 为 87.3%),依赖上下文的读音 95.3%(86.1%),数字、日期和单位缩写 93.6%(92.7%),代码、路径和邮箱等精确序列 86.3%(79.4%),为最弱一项。该测试衡量发音而非情感表达,Fish Audio 对情感质量只作定性描述。在 Artificial Analysis 质量榜上,“Drama 3 Preview” 的 Elo 为 1242,高于 S2.1 Pro 的 1190,低于 Eleven v4 Turbo 的 1328。
安装要求方面,Fish Speech 安装指南列出至少 48 GB NVIDIA 显存并采用 FP8,不支持 CPU、Apple MPS 和 AMD ROCm。MoE 专家权重以 FP8 发布,其余为 bf16。模型卡给出的流式测试在 1 张 H200 上完成,单流首段音频中位时延 88.9 毫秒,实时因子 0.131,16 路并发吞吐为每秒 927.6 帧。服务通过 SGLang-Omni 运行,其融合内核仅在 Hopper GPU 上验证。
托管 API 中,用户需在 POST /v1/tts 请求中把 model 头设为 drama-3,文档提示缺少或拼错该头会静默回退到 s2.1-pro。列表价为每 100 万字符 50 美元,发布价 10 美元持续至 2026 年 11 月 12 日。权重采用 Fish Audio Community License v1.0,研究和非商业用途免费,年收入低于 50 万美元的商业用途免费;将 Drama 3 作为第三方 API 托管需要单独许可,产品须显示 “Built with Fish Audio”,未经同意克隆真实人声被禁止。
与同类产品对比,Fish Audio 的 S2 Pro 为 5B 参数(4B 慢速 AR 加 400M 快速 AR),采用研究许可,每 100 万字符 15 美元;ElevenLabs Eleven v4 Turbo 未披露参数规模,支持 90 多种语言,仅提供托管服务,首段语音中位时延约 150 毫秒,每 100 万字符 40 美元;Qwen-Audio-3.0-TTS-Plus 列出 8 种语言并支持方言,每 100 万字符 20 美元。