ARTICLE · 人工智能

B 站 indexTTS 2.5 开源:五国语言零样本配音,推理提速 2.28 倍

作者:魔搭ModelScope社区 来源:魔搭ModelScope社区 2026-08-18 20:08 11 分钟 221 阅读 2667 字
AI 产品与应用模型发布语音合成开源模型零样本学习
一语总结

B 站 IndexTTS 2.5 开源,支持中英日西阿五语种零样本配音,推理提速 2.28 倍,跨语言情感迁移 MOS 达 4.18/5。

AI 总结

B 站 Index 语音团队在魔搭社区开源 IndexTTS 2.5,针对前版仅支持中英、推理较慢两大痛点做系统性升级。核心进展:1) 多语言扩展至五语种,通过对比三种跨语言建模策略解决同字异读难题,并构建自动化管线获取 15 万小时语料;2) 推理加速 2.28 倍(A10),靠语义 Codec 帧率 50Hz→25Hz 与 S2M 主干 U-DiT→Zipformer 组合拳实现,主观听感无损且 Zipformer 盲测偏好率 56% 胜出;3) 引入 GRPO 强化学习后训练,以 ASR WER 与说话人相似度为奖励,五语言平均 WER 降至 6.00%、相似度升至 73.63%;4) 实现情感-音色-语种解耦,仅用中英情感数据训练即让阿语等零样本语言情感 MOS 达 4.18/5,CV3-Eval 情感识别准确率 0.713 远超 CosyVoice3。模型权重、创空间体验及本地部署指南(6GB 显存即可)同步开源。

核心要点
  1. 支持中英日西阿五语种零样本克隆,系统对比三种跨语言建模策略解决同字异读难题。

    团队针对汉字在中日文中读音不同的问题,公平对比了三种建模策略,发现各有擅长且互补,并构建自动化数据管线获取 15 万小时多语言语料。

  2. 通过语义 Codec 帧率减半和 S2M 主干替换为 Zipformer,实现推理整体提速 2.28 倍。

    语义 token 序列长度减半降低计算量,Zipformer 参数更少且主观盲测偏好率 56% 胜过 U-DiT,在 A10 上整体 RTF 显著下降且听感无损。

  3. 引入 GRPO 强化学习进行后训练,以 ASR WER 和说话人相似度为奖励信号,显著提升合成准确度与音色还原。

    模型自我生成候选并自我进化,五语言平均 WER 降至 6.00%,平均说话人相似度升至 73.63%,英日阿语提升明显。

  4. 实现跨语言情感迁移,仅用中英情感数据训练即让阿拉伯语等零样本语言 MOS 达 4.18/5。

    情感、音色、语种显著解耦,在 CV3-Eval 基准上中文情感识别准确率 0.713 远超 CosyVoice3 的 0.467。

  5. 模型权重已在魔搭社区开源,提供创空间在线体验及本地部署指南,门槛低(6GB 显存即可运行)。

    官方提供完整推理代码示例,支持情绪向量控制、语速控制,方便开发者快速集成到有声书、视频配音等创作流程。

B 站 indexTTS 2.5 开源:五国语言零样本配音,推理提速 2.28 倍

B 站 Index 语音团队在魔搭社区开源 IndexTTS 2.5,针对前版仅支持中英、推理较慢两大痛点做系统性升级。核心进展:1) 多语言扩展至五语种,通过对比三种跨语言建模策略解决同字异读难题,并构建自动化管线获取 15 万小时语料;2) 推理加速 2.28 倍(A10),靠语义 Codec 帧率 50Hz→25Hz 与 S2M 主干 U-DiT→Zipformer 组合拳实现,主观听感无损且 Zipformer 盲测偏好率 56% 胜出;3) 引入 GRPO 强化学习后训练,以 ASR WER 与说话人相似度为奖励,五语言平均 WER 降至 6.00%、相似度升至 73.63%;4) 实现情感-音色-语种解耦,仅用中英情感数据训练即让阿语等零样本语言情感 MOS 达 4.18/5,CV3-Eval 情感识别准确率 0.713 远超 CosyVoice3。模型权重、创空间体验及本地部署指南(6GB 显存即可)同步开源。

文章金句

"

没有银弹,三种策略各有擅长且互补。

"

大道至简。

"

情感,音色,语种被明显解耦了。

"

每一条反馈,都是下一个版本的立项书。