腾讯混元开源 Hy-SimulMT:中英同传延迟约 3 秒,音色跟着走

10 月 26 日,腾讯混元发布并开源 Hy-SimulMT:一个边说边译的中英双向语音同传模型,Apache 2.0 许可,权重放在 Hugging Face 官方 tencent 组织下,代码在 GitHub Tencent-Hunyuan。它不等一句话说完再翻——音频流连续进入,模型在说话人还在讲的时候就开始输出译文文本与合成语音,靠实时音色克隆保留说话人的嗓音特征。同批放出六个仓:主仓只输出译文,Interleave 版同时给出原文与译文,两系各有 FP8 与 GGUF 量化版,另配 SimulInfer 推理服务与 SimulTrain 训练工具。
评估走两条线。长音频用开源的 RealSI 集,横轴是流式延迟 StreamLAAL、纵轴是翻译质量 GEMBA:混元报 StreamLAAL 约 3 秒,是参评里最低的,GEMBA 高于所有对比的开源模型和五个商业 API 中的四个。四个短音频基准上,FLEURS 90.3、ACL6060 81.2、RealSI-Sentence 84.7(全表最高),只有 CoVoST2 的 75.5 低于 Qwen3.8-LiveTranslate 的 82.1。另做了小样本人机对照:18 段 9 月后新上线的中英文录音、六名 CATTI 一/二级译员,官方结论是质量相当、延迟常常更低。
它改的是一件具体的事:同传此前基本锁在闭源商业 API 里(Gemini 与 Qwen 的 LiveTranslate、讯飞同传),现在有一套 Apache 2.0 的中英同传权重可以自托管,也能在腾讯 Hy 翻译 App 里直接试。需要打折的地方:语音输出与音色克隆要另配 TTS 服务,不是模型自带;数字全是厂商自测,人机对照只覆盖 18 段样本,官方写明它不构成对音质与音色相似度的全面评估;语言只到中英双向;30B-A3B 是 30B 总参、3B 激活的 MoE。
原文链接:腾讯混元官方模型卡