这项由台湾国立大学与英伟达台湾团队共同完成的研究以预印本形式于2026年4月19日发布在arXiv平台论文编号为arXiv:2604.17435题为《MoVE: Translating Laughter and Tears via Mixture of Vocalization Experts in Speech-to-Speech Translation》有兴趣深入了解的读者可通过该编号查询完整论文。**一个被机器弄丢的笑声**假设你正在看一场中文脱口秀的英语版直播台上的演员边说边忍不住笑出声全场观众被那种感染力逗得哈哈大笑。然而当AI实时翻译把这段话转成中文语音播放出来时那个滚烫的笑声消失了剩下的只是一句平平无奇、声调正经的普通话台词——幽默感荡然无存就像把一首摇滚乐的鼓点全部删掉只剩下干巴巴的歌词。这正是当前语音到语音翻译Speech-to-Speech Translation即S2ST技术的通病。现有系统在把一种语言的说话音频转换成另一种语言的说话音频时确实能把说了什么翻译得相当准确但对于怎么说的却几乎一无所知。具体而言那些夹杂在正常说话中的笑声、哭泣声、哽咽、颤抖等被研究者称为非语言发声Non-verbal Vocalizations简称NV的声音信号携带着巨大的情感和语用信息却被现有系统一刀切地过滤掉了。台湾国立大学的研究团队意识到这不只是一个技术上的不完美而是一个可能在跨语言沟通中制造严重误解的问题。一句带着苦笑说出的自嘲被翻译成正经口吻可能变成毫无幽默感的陈述一句哽咽着说出的道歉被翻译成平静的语音可能显得漠然甚至冷酷。正是为了填补这个情感鸿沟他们提出了一个名为MoVEMixture of Vocalization Experts即发声专家混合体的新系统。**一、AI翻译丢掉的东西比你以为的更重要**要理解这个研究解决了什么问题不妨把人类说话比作一首完整的乐曲。歌词是语言内容是我们通常意义上说的意思但旋律、节奏、情绪才是让这首曲子真正打动人心的东西。现有的翻译AI基本上只翻译了歌词而把旋律扔掉了。研究团队把人类说话中的情感旋律归纳为两大类一类是普通的情绪性语调比如愤怒时声音变得生硬、悲伤时语速放缓另一类则是更极端的非语言发声就是那些本身不是词语但明确传达情感的声音比如笑声、哭声。后者才是最难被现有系统处理的也是这项研究最核心的攻克目标。为什么非语言发声这么难处理研究团队指出了两个根本性的瓶颈。其一是数据极度稀缺。真实语音语料库中含有笑声、哭声的高质量音频少之又少而且往往混杂着背景噪音系统很难把情感信号从噪音中剥离出来。其二是模型架构本身的难题语音到语音翻译已经是三个任务的叠加——先听懂语音识别再翻译机器翻译再开口语音合成——在这个本就极其复杂的框架上再塞入保留情感的要求几乎是在走钢丝时还要同时玩杂耍。**二、造出训练数据一条流水线生产会哭会笑的语音**面对数据稀缺的第一道难关研究团队没有坐等真实数据的积累而是选择自己动手制造。他们设计了一条自动化的表情数据合成流水线逻辑上很像一个精心设计的配音工作室。整个流程分三步走。第一步是准备情绪模板也就是各种情绪的声音参考样本。对于愤怒、快乐、悲伤这三种基础情绪团队从CREMA-D、MSP-IMPROV、IEMOCAP这三个已有的情感语音数据库中广泛采集样本确保情绪模板的多样性而不是让所有愤怒都听起来像同一个人。对于笑声和哭声这两类极端非语言发声团队采取了更严格的筛选标准——笑声样本通过一个置信度高达99%以上的笑声检测器从大量语料中自动提取并经过人工逐一核验哭声样本则来自日本情感语音数据集JVNV特别筛选那些在正常说话中穿插着真实哭泣的样本确保是边说边哭而非单纯的哭声片段。第二步是把声音穿在别人身上——这是整个流水线最有创意的设计。由于极端情感的模板样本数量有限如果每次生成都用同一批模板合成出来的数据就会显得单调好像所有笑声都来自同一个人。为了解决这个问题团队采用了一种解耦策略用情感模板告诉AI该怎么笑同时另外随机挑一个中性语音告诉AI用谁的嗓音。这样一来同样的笑声特征就能被穿在千百种不同音色的声音上数据多样性大幅提升。执行这一合成任务的是IndexTTS2一个擅长情感表达的零样本语音合成系统。第三步是质量把关也是保证这批人工数据真正可用的关键。表情丰富的语音合成系统有个已知的毛病它有时会发疯该说的词没说完或者干脆发出奇怪的噪音。为了过滤这些不合格品团队设置了三道过滤器。首先是长度过滤太短的音频不足0.5秒直接丢弃。其次是语音识别准确率过滤——用Whisper模型把合成音频转回文字再与原文对比错误率超过50%的样本淘汰这个阈值之所以设得较宽松是因为夹杂笑声或哭声的语音本来就不会被识别得很准确过于严格的过滤反而会把好的样本也误杀。第三道过滤是配对过滤英文和中文两个版本必须同时通过前两道关卡才能作为一对训练样本保留下来。经过这条流水线团队最终生成了一个覆盖五种情感状态愤怒、快乐、悲伤、笑声、哭声的大规模表情语音翻译数据集总时长超过1000小时并已向研究社区公开发布。**三、MoVE架构五位专家一个灵活的主持人**解决了数据问题团队转向更核心的挑战模型架构设计。他们的思路可以用一个指挥家与乐手的比喻来理解。现有方案相当于让一位演奏家同时掌握所有乐器——理论上可行实际上演奏不同风格时会相互干扰难以精准。MoVE的做法则是招募五位专精不同乐器的演奏家分别负责愤怒、快乐、悲伤、笑声、哭声五种情感表达再配备一位懂得根据当前曲目灵活调配各演奏家贡献比例的指挥家。技术上MoVE建立在一个已经预训练好的大型音频语言模型Kimi-Audio由月之暗面开发的7B参数模型之上。为了不破坏这个基础模型已经掌握的庞大语音知识团队冻结了基础模型的所有参数只在其上附加轻量级的可插拔适配器这种技术被称为LoRALow-Rank Adaptation低秩自适应。LoRA的原理类似于给一件衣服缝上口袋——不改变衣服的主体结构只是附加了新功能。在MoVE中这样的LoRA适配器一共有五个分别对应五种情感像五位相互独立的专家并行运作。每位专家都在自己的独立参数空间里运作互不干扰各自学习自己负责的那种情感的声音特征。当系统需要生成一段包含情感色彩的语音时真正决定各专家贡献多少的是一个被称为动态软权重路由器的小机制。这个路由器的工作方式类似于一个经验丰富的调音师它会持续监听每一个语音生成时刻的状态然后给五位专家分配不同的音量旋钮比例。关键在于它不是非此即彼地选择某一位专家而是可以同时激活多位让他们按不同比例融合。这种软融合设计的动机来自一个真实的观察人类的情感本来就不是非黑即白的。带着苦笑的哭泣需要笑声专家和哭声专家同时出力愤怒中夹杂悲伤需要两位专家的协同。硬性规定每次只用一位专家会错失这种混合情感而软权重路由则能灵活捕捉。值得一提的是系统还对负责把数字音频编码转回真实声波的解码器detokenizer进行了专门的微调。原始的解码器在面对笑声和哭声这类极端非语言发声时会失真经过专项训练后它能更可靠地把这类情感还原成逼真的声音。**四、两阶段训练先让专家各练各的再让指挥家上场**MoVE的训练过程分为两个阶段设计逻辑清晰而精妙。第一阶段叫做专家专项训练。此时五位LoRA专家被分开独立训练每位专家只看自己负责的情感类别数据。愤怒专家只学愤怒语音对应的翻译哭声专家只学含哭声语音的翻译以此类推每人练习20小时的专项数据。这一阶段的目的是让每位专家在自己的领域形成足够深入、足够精准的能力而不被其他情感的信号所干扰。第二阶段叫做路由器优化。当五位专家都已经深度专业化之后团队把他们集成到统一的MoVE架构中然后训练那位指挥家路由器——用完整的100小时数据集让路由器学会在各种情感场景下如何分配专家的权重。尤其值得注意的是路由器的训练完全没有使用情感标签也就是说没有人告诉它这句话是愤怒的所以应该多用愤怒专家。路由器完全依靠最终语音生成质量的好坏来反推自己该怎么分配比例是一种纯粹从结果反向学习的自监督过程。这一设计的精巧之处在于由于专家已经在第一阶段建立了清晰的情感分工路由器即使没有情感标签指导也能从语音的潜在声学特征中自然学会哪种情况该让谁多说话。**五、实验结果数字会说话但人耳更诚实**研究团队从三个维度评估MoVE的表现可以比作从三个不同角度给一段翻译语音打分。第一个维度是说准了没有用ASR-BLEU分数来衡量——简单说就是把翻译结果再转回文字看看和标准译文差多少分。MoVE在英译中方向拿到了32.5分是所有测试系统中的最高分在中译英方向拿到21.4分仅略低于语义翻译起家的SeamlessM4T系统23.6分差距在2.2分以内。第二个维度是情绪像不像用Aro-Val SIM情绪的激动程度与正负向情感的相似度来衡量。MoVE得到0.53分在所有不需要参考原始说话人声音的端对端系统中排名最高甚至非常接近以原始音频作为提示的级联系统0.55分。这个成绩的参照系是现有的商业系统SeamlessExpressive得0.45分GPT-4o语音版本得0.18分未经微调的Kimi-Audio基础模型只有0.11分。第三个维度是人听着怎么样通过人类主观评估来衡量。五位精通英中双语的评估者听取了从六个情感类别中各抽取的共30条语音分别对自然度和情感相似度打1到5分。MoVE在自然度上获得3.85分在情感相似度上获得3.79分均为所有测试系统中的最高分。与此形成对比的是GPT-4o语音版自然度3.26分但情感相似度仅2.03分级联系统自然度2.61分、情感相似度3.43分商业的SeamlessExpressive自然度仅1.41分、情感相似度2.57分。最能直接说明问题的是一个叫做NV匹配准确率的指标——也就是说在评估者听完翻译音频后他们是否真的感知到了和原始语音相同的非语言发声笑声或哭声。MoVE的匹配率达到76%而在所有对比系统中表现最好的SeamlessExpressive只有14%其他系统几乎在2%至4%的水平徘徊基本相当于随机。此外在MoVE与单LoRA基线即不使用混合专家架构、只用一个LoRA模块的配对偏好测试中60%的评估者认为MoVE更好22.67%认为两者差不多只有17.33%偏向单LoRA基线。**六、只需半小时数据就能点醒沉睡的能力**研究团队还做了一个关于数据效率的实验结果出乎意料甚至有些令人惊叹。他们用0小时、0.1小时、0.5小时、1小时、5小时、10小时、50小时、100小时、500小时、1000小时不同规模的数据来训练同一个LoRA模型观察性能的变化曲线。结果显示从0.5小时到1000小时模型在语义翻译准确率和情感相似度上的表现几乎是一条平线——也就是说用半小时数据训练出来的效果与用1000小时数据训练的效果相差无几。这个发现初看令人费解但研究团队随即做了一个对照实验来揭开谜底。他们把Kimi-Audio的基础权重完全随机重置就像把一个经验丰富的老司机的记忆全部清空然后在同样的数据规模下从头训练。结果是模型完全无法收敛无论给多少数据输出的都是无法辨认的噪音。这一对比说明了一个重要道理MoVE的数据高效性本质上来自Kimi-Audio基础模型在大规模预训练阶段已经积累的声学和语义知识。LoRA的作用不是创造新能力而是唤醒已有潜力——就像一个本来就懂音乐的人给他几个月的情感表达课程就能大幅提升而一个完全没有音乐基础的人即使训练几年也难以达到同样水平。仅仅30分钟的精心筛选数据就能激活这个大型模型中潜藏的情感表达能力并达到全量数据95%的情感还原水平。**七、路由器学会了什么情感的地图自然浮现**研究团队还对路由器的内部行为进行了可视化分析得到了一个混淆矩阵图。这张图记录的是当输入某种情感的语音时路由器最倾向于激活哪位专家。整体而言路由器在从未被明确告知这是什么情感的情况下仍然实现了63.68%的正确情感对应率——也就是说当输入愤怒语音时它大多数时候会把最高权重分配给愤怒专家当输入笑声时会最多激活笑声专家。这一准确率在无监督条件下相当可观。更耐人寻味的是那些错误的激活模式。悲伤语音有时会激活哭声专家快乐语音有时会激活笑声专家——这些并非真正的错误而是对人类情感连续谱的一种忠实映射。悲伤和哭泣在情感空间中本就毗邻路由器捕捉到了这种潜在的声学相似性。这种软边界的存在恰恰是混合专家架构优于硬性分类方案的地方它不强迫情感非此即彼而是允许它们像真实的人类情感一样相互交融。说到底MoVE做到的事情可以用一句话概括让机器翻译终于记住了说话的意义不只藏在词语里也藏在那一声轻笑、那一阵哽咽之中。这项研究打开了一扇门让AI翻译系统有机会跨越语言障碍的同时也跨越情感障碍——不再把笑着说的话翻译成面无表情说的话。当然研究本身也坦诚地指出了局限。目前MoVE只覆盖了五种情感状态现实生活中的情感表达远比这复杂数据集以英语和中文为核心多语言拓展还需进一步工作而且测试评估者只有五位样本规模相对有限。这些都是未来值得继续探索的方向。不过从完全丢失非语言发声到76%的还原率从需要海量数据训练到30分钟数据就能激活能力这项研究清晰地标记出了一条可行的路径。下一次当跨语言通话中的笑声或哭泣能够被忠实地传递到对方耳中时背后可能正有一套类似MoVE的机制在默默工作。QAQ1MoVE系统在翻译时怎么保留笑声和哭声这类特殊声音AMoVE采用了五位情感专家并行工作的架构分别专精愤怒、快乐、悲伤、笑声、哭声五种情感。当系统翻译一段语音时一个路由器会根据当前语音的情感特征灵活分配这五位专家各自发挥多少作用而不是非此即彼地选一个。这样既能处理单一情感也能捕捉边笑边哭这类混合情感状态最终使非语言发声的还原率达到76%。Q2MoVE训练需要多少数据才能正常工作A实验发现基于预训练的大型音频模型Kimi-Audio进行LoRA微调时仅需约30分钟到0.5小时的精心筛选数据就能达到用1000小时数据训练的约95%的情感还原效果。关键在于大型预训练模型本身已经积累了大量声学和语义知识少量数据只是唤醒这种潜在能力而非从零创造能力。Q3MoVE合成训练数据的方式有什么特别之处A研究团队设计了一种解耦合成策略用情感模板声音告诉AI该怎么表现这种情感同时另外随机选取中性语音提供说话人的音色两者分开提供。这样同一种笑声或哭声特征可以被叠加到数千种不同音色的声音上大大提升了数据多样性避免所有笑声听起来都像同一个人。