摘要：这项由阿里巴巴国际数字商务团队的田凤平、吕晨阳等研究人员完成的突破性研究，发表于2025年8月的arXiv预印本平台。研究团队开发出了名为Marco-Voice的多功能语音合成系统，同时还构建了包含10小时中文情感语音数据的CSEMOTIONS数据集。感兴趣的
这项由阿里巴巴国际数字商务团队的田凤平、吕晨阳等研究人员完成的突破性研究，发表于2025年8月的arXiv预印本平台。研究团队开发出了名为Marco-Voice的多功能语音合成系统，同时还构建了包含10小时中文情感语音数据的CSEMOTIONS数据集。感兴趣的读者可以通过https://github.com/AIDC-AI/Marco-Voice获取代码，通过https://huggingface.co/datasets/AIDC-AI/CSEMOTIONS访问数据集。
当我们听到某个熟悉的声音时，大脑会瞬间识别出这是谁在说话，同时还能感受到说话者的情绪状态——是开心、愤怒还是悲伤。这种看似简单的能力，对计算机来说却是一个巨大的挑战。阿里巴巴的研究团队正是要让机器掌握这种既能模仿不同人声音特色，又能准确表达各种情感的能力。
传统的语音合成技术就像一个只会背书的学生，虽然能说出清晰的话语，但声音听起来机械呆板，更别说表达丰富的情感了。更糟糕的是，当这些系统试图模仿某个特定人的声音时，往往会把那个人的说话风格和情感表达方式混在一起，无法单独控制。这就好比一个演员只能完全模仿某个角色的一切，却无法在保持角色声音特色的同时表演不同的情绪。
Marco-Voice的革命性突破在于，它能够像一个真正优秀的配音演员一样，既能完美模仿任何人的声音特色，又能根据需要表达各种不同的情感。研究团队通过巧妙的技术设计，让系统学会了将"声音身份"和"情感表达"分开处理，就像把一个人的外貌特征和性格特点分别记录一样。
一、机器学习人类声音的艺术：Marco-Voice的核心创新
Marco-Voice的工作原理可以比作一个精通多种技能的声音魔法师。当我们要让它合成语音时，整个过程分为几个精密配合的步骤。
首先，系统需要理解输入的文字内容，这就像读剧本的过程。文本编码器会仔细分析每个词语、句子的含义和语法结构，为后续的语音生成提供基础信息。同时，语音标记器会将参考音频转换成机器能够理解的"声音密码"，这些密码包含了音频的各种特征信息。
接下来是Marco-Voice最精彩的部分——情感和声音特征的分离处理。研究团队设计了一套"旋转情感嵌入整合方法"，听起来很复杂，其实原理相当巧妙。他们发现，如果有同一个人说话时的两段录音——一段是中性平静的，另一段是带有某种情感的，那么这两段录音在机器的"理解空间"中的差异，就代表了纯粹的情感信息，而剔除了个人声音特色的干扰。
这种方法就像从两张照片中提取表情变化一样。假设你有一张某人面无表情的照片和一张他微笑的照片，通过比较这两张照片的差异，你就能提取出"微笑"这个纯粹的表情信息，而不会受到这个人具体长相特征的影响。Marco-Voice正是用这种方式学会了从语音中提取纯粹的情感信息。
为了确保声音身份和情感表达真正做到相互独立，研究团队还引入了"交叉正交约束"机制。这个机制的作用就像一个严格的教练，不断监督系统确保声音特征和情感特征在学习过程中保持相互垂直的关系，就像数学中的坐标轴一样，互不干扰。
二、让机器学会情感表达的秘密武器
Marco-Voice在处理情感方面的突破，离不开一个叫做"批次内对比学习"的技术。这个技术的工作原理很像教小孩子区分不同颜色的过程。
当我们教孩子认识红色时，不仅会指着红色的东西说"这是红色"，还会同时指着蓝色、绿色的东西说"这些不是红色"。批次内对比学习就是这样工作的：当系统学习某种情感表达时，它不仅要学会准确识别这种情感，还要学会将其与其他情感区分开来。
在每次训练过程中，系统会同时处理多个不同情感的语音样本。对于其中的每一个样本，系统都会努力让它与表达相同情感的样本更相似，同时与表达不同情感的样本更不相似。这种学习方式大大提高了系统对各种情感的识别和表达能力。
Marco-Voice还使用了一种叫做"条件流匹配"的生成技术。这项技术的工作过程就像一个经验丰富的调音师，能够根据给定的条件（文本内容、声音特征、情感要求）精确地调整每一个声音参数，最终生成自然流畅的语音。
整个生成过程中最关键的创新是引入了交叉注意力机制。这个机制让情感信息能够深度参与到语音生成的每个环节中，确保最终合成的语音不仅在技术上准确，在情感表达上也自然贴切。可以把这个过程想象成一个指挥家同时协调乐队的不同声部，确保每个乐器既保持自己的特色，又完美融入整体的情感氛围中。
三、CSEMOTIONS：为中文情感语音合成量身打造的数据宝库
要训练出优秀的情感语音合成系统，高质量的训练数据是必不可少的。然而，研究团队发现现有的情感语音数据集存在诸多不足：要么是说话人数量有限，要么是录音质量参差不齐，要么是情感类别覆盖不全。针对中文语音合成的需求，这个问题更加突出。
为了解决这个问题，研究团队构建了CSEMOTIONS数据集。这个数据集包含了约10小时的高质量中文情感语音，由6位专业配音演员录制，其中男女各占一半。这些配音演员都具有丰富的声音表演经验，能够准确地表达各种细腻的情感状态。
CSEMOTIONS涵盖了七种不同的情感类别：中性、快乐、愤怒、悲伤、惊讶、恐惧和厌恶。每位配音演员都录制了涵盖所有情感类别的语音样本，确保了数据集在说话人和情感覆盖度方面的平衡性。
更重要的是，所有录音都在专业录音棚中完成，使用了高端的录音设备，确保了音频质量的一致性和专业性。录音环境的控制消除了背景噪音和混响的干扰，让系统能够专注于学习纯粹的语音特征和情感表达。
除了训练数据，研究团队还为每种情感类别精心设计了100个评估句子，这些句子既包含中文也包含英文内容。这样的设计使得系统的性能评估更加全面和客观，也为跨语言的情感语音合成研究提供了宝贵的基准测试资源。
四、实验验证：Marco-Voice的表现到底如何
为了全面评估Marco-Voice的性能，研究团队设计了一系列详细的实验。这些实验就像给一个新生的配音演员安排试镜一样，从多个角度检验系统的能力。
在声音克隆能力的测试中，Marco-Voice的表现令人印象深刻。研究团队邀请了母语使用者对合成语音进行评价，评价维度包括语音清晰度、节奏和语速、自然度、整体满意度以及说话人相似度。结果显示，Marco-Voice在所有维度上都超越了现有的主流系统。
特别值得注意的是说话人相似度这一指标，Marco-Voice获得了0.8275的高分，明显超过了对比系统的0.605-0.700分。这意味着听众很容易就能识别出合成语音确实来自目标说话人，声音克隆的效果非常逼真。
在情感表达能力的测试中，Marco-Voice同样展现出了显著优势。系统在情感表达的准确性和自然度方面都获得了最高评分，达到了4.225分（满分5分）。这个分数表明，合成的情感语音不仅能准确传达指定的情感，而且听起来非常自然，不会让人感觉机械或夸张。
研究团队还进行了直接对比测试，让听众在不知道哪个是Marco-Voice合成的情况下，从成对的语音样本中选择更好的那一个。结果显示，Marco-Voice在60%-65%的对比中胜出，这在语音合成领域是一个相当不错的成绩。
更详细的客观指标分析显示，Marco-Voice在保持较低词错率的同时，在说话人相似度和感知质量方面都表现出色。研究团队测试了系统的多个版本，发现随着技术改进的逐步加入，系统性能呈现出稳步提升的趋势，最终的v4版本在大多数指标上都达到了最优水平。
五、跨语言表现：Marco-Voice的语言适应能力
Marco-Voice的另一个引人注目的特点是其出色的跨语言适应能力。研究团队在英文和中文数据集上都进行了详细测试，结果显示系统在两种语言上都能保持稳定的高质量输出。
在情感识别准确率方面，Marco-Voice的最新版本在中文数据上达到了0.78的准确率，在英文数据上达到了0.77的准确率。这种跨语言的一致性表明，系统学到的不仅仅是特定语言的声学特征，而是更深层次的情感表达规律。
有趣的是，研究团队发现不同情感在两种语言中的表现模式存在一些差异。中性和愤怒情感在两种语言中都能达到85%以上的识别准确率，表现最为稳定。而惊讶和悲伤情感的识别相对困难一些，但Marco-Voice的高级版本仍然能够在这些具有挑战性的情感类别上达到73%以上的准确率。
语言特定的表现模式也很有启发性。在中文数据上，快乐和愤怒情感的识别效果更好，而在英文数据上，中性和悲伤情感的表现更出色。这种差异可能反映了不同文化背景下情感表达方式的微妙区别，Marco-Voice能够捕捉并适应这些差异，展现了其跨文化的适应能力。
六、技术细节探秘：Marco-Voice是如何训练出来的
Marco-Voice的训练过程就像培养一个全能的语言表演艺术家，需要在多个方面同时提升能力。整个训练过程基于CosyVoice框架进行改进，使用了8块NVIDIA A100 GPU，训练时间约为数小时。
训练的核心挑战在于如何平衡多个学习目标。系统不仅要学会准确的语音合成，还要掌握声音克隆和情感表达两项专门技能。研究团队设计的综合损失函数就像一个经验丰富的老师，同时关注学生在多个科目上的表现。
主要的文本到语音合成损失确保系统能够生成清晰、自然的语音。正交性损失则专门负责维持声音特征和情感特征之间的独立性，防止两者相互干扰。对比学习损失帮助系统更好地区分不同的情感表达。这三个损失函数的权重经过精心调整，分别设置为主损失的0.1倍和0.5倍。
训练使用了Adam优化器，对语言模型部分使用了1×10^-5的学习率，对流匹配部分使用了1×10^-4的学习率，并采用余弦衰减调度策略。批量大小设置为每个GPU处理32个样本，确保了训练的稳定性和效率。
研究团队还发现，仅使用10个样本进行单次情感嵌入计算就足以产生高质量的情感控制效果。这个发现对于实际应用非常重要，意味着用户不需要提供大量的情感语音样本就能获得满意的合成效果。
七、深入分析：影响Marco-Voice表现的关键因素
研究团队对影响Marco-Voice性能的各种因素进行了深入分析，这些发现为未来的改进提供了重要指导。
音频长度对情感识别效果的影响呈现出明显的规律。短于1秒的语音片段识别准确率普遍较低，通常不到60%。这很容易理解，因为太短的语音片段包含的情感信息有限。1到3秒的语音片段表现最为理想，准确率通常在60%-80%之间，这个长度既包含了足够的情感信息，又不会引入过多的干扰因素。超过3秒的长语音片段虽然准确率最高，但提升幅度有限，这表明1-3秒是实际应用中的最佳选择。
性别差异的分析揭示了一个令人关注的现象：系统在女性说话人上的表现明显优于男性说话人。女性说话人的大多数情感类别都能达到40%以上的准确率，而男性说话人往往低于20%，特别是在惊讶和悲伤情感上表现更差。这种性别偏差可能源于训练数据的不平衡或者男女情感表达方式的差异，提醒研究者在未来工作中需要更加注重性别平衡的数据收集和模型优化。
跨语言性能对比显示，虽然Marco-Voice在中英文两种语言上都表现良好，但仍存在一些语言特定的模式。这种差异不仅体现在整体准确率上，也体现在特定情感类别的表现差异上。这些发现为开发更加通用的多语言情感语音合成系统提供了宝贵的经验。
八、Marco-Voice的实际应用前景
Marco-Voice的技术突破为语音合成领域开辟了广阔的应用前景。在虚拟助手领域，这项技术能够让AI助手不仅拥有个性化的声音，还能根据对话内容和用户情绪调整自己的情感表达，提供更加自然和人性化的交互体验。
在内容创作方面，Marco-Voice为有声读物、播客制作和视频配音提供了革命性的工具。创作者可以使用特定声优的声音特色，同时根据内容需要调整情感表达，大大降低了专业配音的成本和制作周期。这对于独立创作者和小型制作团队来说特别有价值。
教育技术也是Marco-Voice的重要应用领域。个性化的语音教学系统可以使用学生熟悉的声音进行教学，同时根据教学内容调整语调和情感，让学习过程更加生动有趣。特别是在语言学习中，学生可以听到标准发音的同时，感受到丰富的情感表达，提高学习效果。
对于有语言障碍或失去声音能力的人群，Marco-Voice技术可能提供个性化的语音重建服务。通过分析用户的历史录音或家人的声音特征，系统可以帮助他们重新获得个性化的语音表达能力。
九、当前限制与未来改进方向
尽管Marco-Voice展现出了令人印象深刻的性能，但研究团队也坦率地指出了系统目前存在的一些限制。
首先是对配对情感语音数据的依赖。系统需要同一说话人的中性语音和情感语音样本才能有效工作，这在实际应用中可能限制了系统的使用范围。许多潜在用户可能无法提供完整的配对数据，特别是对于历史录音或已故说话人的声音重建需求。
计算效率是另一个需要关注的问题。虽然系统在质量上表现出色，但在实时应用场景中，特别是在资源受限的设备上，当前的计算需求可能还是过高。这限制了技术在移动设备和边缘计算场景中的部署。
研究团队已经为未来的改进工作制定了明确的方向。他们正在探索半监督和自监督学习方法，以减少对配对数据的依赖。通过这些方法，系统有望仅使用少量标注数据甚至无标注数据就能实现高质量的声音克隆和情感合成。
在效率优化方面，研究团队计划采用模型压缩技术和优化的推理策略，使系统能够在保持质量的同时显著降低计算需求。这将为Marco-Voice在更广泛场景中的实际部署铺平道路。
扩大语言支持范围也是重要的发展方向。研究团队希望将Marco-Voice的能力扩展到更多语言，特别是资源较少的语言，为全球用户提供更加包容的语音合成服务。
Marco-Voice代表了语音合成技术向更加自然、可控和个性化方向发展的重要里程碑。通过巧妙地解决声音身份和情感表达的分离问题，这项技术不仅在技术上实现了突破，也为人机交互开启了更加丰富和自然的可能性。随着技术的不断完善和优化，我们有理由期待Marco-Voice在未来能够为更多用户带来更加出色的语音体验，让机器的声音变得更加人性化和富有表现力。
Q&A
Q1：Marco-Voice与传统语音合成技术相比有什么突破性改进？
A：Marco-Voice的核心突破在于能够独立控制声音身份和情感表达。传统语音合成系统往往将说话人的声音特色和情感表达混在一起，无法单独调节。Marco-Voice通过创新的"旋转情感嵌入整合方法"和"交叉正交约束"机制，实现了声音克隆和情感控制的完全分离，让系统能够像优秀配音演员一样，既保持特定人物的声音特色，又能根据需要表达不同情感。
Q2：CSEMOTIONS数据集有什么特殊价值？
A：CSEMOTIONS是专门为中文情感语音合成构建的高质量数据集，包含10小时专业配音员录制的七种情感类别语音。它解决了现有中文情感语音数据稀缺、质量参差不齐的问题。数据集采用专业录音棚录制，确保音质一致性，并且男女配音员数量平衡，为中文语音合成研究提供了宝贵的标准化训练和评估资源。
Q3：Marco-Voice在实际应用中有什么限制？
A：目前Marco-Voice主要有两个限制：一是需要同一说话人的中性和情感语音配对数据才能有效工作，这在实际应用中可能难以获取；二是计算资源需求较高，在移动设备等资源受限环境中的实时应用还面临挑战。不过研究团队正在开发半监督学习方法和模型压缩技术来解决这些问题。
来源：至顶网一点号