据MarkTechPost 10月22日报道,总部位于巴黎的语音AI公司Gradium开源了可在设备端运行的小型文本转语音模型系列Phonon,其中英语版Phonon 31m以Apache 2.0许可发布,模型文件为64.5 MB,无需云端调用或GPU即可生成语音。

Phonon提供31M和40M两种参数规模,参数数量不含音频分词器。英语版Phonon 31m采用q8 GGUF格式,文件64.5 MB,输出24 kHz单声道音频;Phonon 40m文件为74.6 MB。该系列模型可在CPU、手机、Raspberry Pi 5、浏览器(WASM、WebGPU)以及NVIDIA GPU上运行,并不要求配备GPU。

在Gradium的评测中,Phonon在CPU上生成首段音频约需7毫秒,其英语Elo在Gradium测试的开源模型中最高。词错误率方面,Phonon在500句困难集上的结果为1.70%,Kokoro为3.50%;在Seed-TTS LLM测试中,Phonon的词错误率为0.51%,高于Kokoro的0.45%和Magpie的0.46%。

Phonon系列包含三个模型。Phonon 31m仅支持英语,内置37个声音,采用Apache 2.0许可。Phonon 40m按语言分别提供英语、法语、德语、西班牙语和葡萄牙语模型,采用CC BY-NC 4.0许可;Phonon 40m多语言模型将5种语言合入一个模型,提供102个声音,同样采用CC BY-NC 4.0许可。

在架构上,Phonon使用因果Transformer主干,前缀结合文本与说话人嵌入。其SentencePiece分词器词表为4000个词元,直接读取原始文本,不进行音素转换。主干每80毫秒帧生成一个潜向量,流匹配头单步将潜向量与噪声转换为音频嵌入,Kyutai Mimi解码器的小型变体再输出24 kHz PCM音频。独立的语音结束头负责判断停止时机。Phonon 31m使用6层Transformer、宽度512和8个注意力头,Phonon 40m使用9层、宽度相同。两个模型均由更大的Phonon教师模型蒸馏而来,训练在配备NVIDIA H100的集群上完成,并使用NCCL和CUDA Graphs。该工作建立在Kyutai的Continuous Audio Language Models研究和Pocket TTS之上。

Gradium是从Kyutai分拆出来的语音AI公司。此次开源的Phonon将小型TTS模型推向手机、开发板和浏览器等本地环境,但不同规模与语言版本的许可条件并不相同,英语31m采用Apache 2.0,40m及多语言版本则采用限制商业使用的CC BY-NC 4.0。