摘要：在2025年5月29日，波森AI（Boson AI）的研究团队向学术界发布了一项开创性研究。这项名为"EmergentTTS-Eval"的工作由Ruskin Raj Manku、Yuzhi Tang、Xingjian Shi、Mu Li和Alex Smola共

一、研究背景：为什么我们需要更好的语音合成评估方法？

想象一下，你正在使用一个语音助手朗读你最喜欢的小说。当故事进行到紧张的对白部分，你希望助手能用激动的语气朗读；当遇到外语短语时，你期待它能发音准确；当角色惊讶地说"哇哦！真是太——惊——人——了！"时，你希望它能表现出适当的惊讶和语调变化。但现实中，大多数语音助手在处理这些复杂场景时往往显得生硬、单调，甚至出错。

这正是波森AI研究团队关注的问题。他们发现，虽然现代文本转语音（TTS）技术在处理标准、格式良好的文本时已经取得了显著进步，展现出接近人类的自然度和质量，但当面对更复杂、多样化的文本提示时，系统性能往往大打折扣。例如，在处理代码切换（在同一段话中混合使用多种语言）或复杂技术字符序列时，现有TTS系统的表现仍有明显不足。

更令人担忧的是，现有的TTS评估方法远远落后于实际应用场景的复杂性。当前的评估基准通常存在几个明显缺陷：它们往往使用受限的文本领域，缺乏语言现象的多样性，并依赖成本高昂、难以复制的人工评估，这些评估在不同听众群体之间可能存在显著差异。更糟的是，多语言代码切换的评估需要极其精通多语言的评估者（或许多专业评估者）。因此，出于实用性考虑，许多评估仅关注语音克隆这一单一方面。

二、EmergentTTS-Eval：一个全面的评估框架

为了解决这些问题，波森AI团队提出了EmergentTTS-Eval，这是一个专门设计用于评估TTS系统在复杂场景下表现的综合基准。想象它就像一个严格的驾驶考试，不仅要求你能在平坦道路上行驶，还要测试你在急转弯、坡道、恶劣天气等各种复杂条件下的驾驶能力。

EmergentTTS-Eval涵盖了六个关键维度的挑战场景：

首先是情感表达（Emotions）。就像演员需要表达各种情绪一样，TTS系统需要准确反映人类情感和声音。例如，在朗读奇幻或儿童文学作品时，系统必须真实地处理引用对话和非语言线索，以保持听众的参与感。

其次是非语言线索（Paralinguistics）。这类似于我们在说话时使用的各种声音修饰，如"嗯..."表示思考，"哇！"表示惊讶，或者通过拉长某些音节"真——棒——啊"来强调情感。

第三是语法复杂性（Syntactic Complexity）。这就像阅读法律文本或文学作品中那些结构复杂的长句子，需要系统正确理解句子结构并通过适当的停顿和语调引导听众理解。

第四是问题表达（Questions）。TTS系统需要适当地处理疑问句，用合适的语调结束问句，这在对话场景中尤为重要。

第五是外语词汇（Foreign Words）。在全球化世界中，文本常常包含多语言内容，TTS系统需要准确发音这些外语词汇。

最后是复杂发音（Complex Pronunciation）。这包括特殊字符、数字以及科学和学术文本中的方程式等难以发音的内容。

EmergentTTS-Eval的独特之处在于其测试用例生成和评估的自动化框架。研究团队从一小组人工编写的种子提示开始，使用大型语言模型（LLM）迭代扩展这些提示，针对特定的结构、语音和韵律挑战，最终产生了1,645个多样化的测试用例。

三、模型即评判者：人工智能如何评估语音质量？

传统上，评估TTS系统的质量需要人类评估者聆听语音样本并给出主观评分。这种方法不仅成本高昂，而且难以大规模实施，更不用说其中可能存在的主观偏差。

波森AI团队提出了一种创新方法：使用大型音频语言模型（LALM）作为评判者。想象一下，这就像请一位音乐评论家评价一场音乐会的表现。这位"评论家"是一个经过特殊训练的AI模型，能够理解语音、文本和它们之间的关系。

具体来说，研究团队使用了Gemini 2.5 Pro作为主要评判模型，这是因为它在已建立的音频推理基准测试（如MMAU）上表现出色。在评估过程中，对于每个评估实例，两个TTS系统会针对相同的输入生成语音，并随机指定为T1和T2以避免位置偏差。LALM评判者会收到原始文本、相关类别标签以及结构化评估提示，包括目标评估维度（例如，韵律、情感）、评分标准和详细的类别特定推理指南。

评判模型会返回包含每个系统表现的自然语言解释、比较分析、突出关键差异（标记为微妙或显著）、每个系统0-3范围内的标量分数，以及最终的获胜者标签：0表示平局，1表示T1优胜，2表示T2优胜。整个评估过程被设计为引出基于时间戳的链式思考推理，并鼓励模型通过阐述细微差别来解决边界情况，预测基于人类的偏好。

研究团队采用基于胜率的指标来总结性能。如果一个系统Ti相对于基线Tj的胜率为W(Ti)，计算方法是：获胜次数加上0.5乘以平局次数，然后除以总比较次数。0.5的分数反映了与基线相当的表现，而偏离则表示相对优势或劣势。

这种评估方法实现了稳健、可解释且可重现的TTS比较，而且规模可扩展。与人类评估者不同，LALM评判者可以在多语言和韵律丰富的语音上提供一致的判断，其输出包括基于时间戳的理由，支持细粒度的诊断分析。

四、研究发现：谁是语音合成的佼佼者？

研究团队使用EmergentTTS-Eval评估了多个最先进的开源和专有TTS系统，包括11Labs、Deepgram和OpenAI的4o-mini-TTS。结果展示了这些系统在面对各种挑战时的细粒度性能差异。

总体来看，GPT-4o-Audio（Ballad语音）取得了最高的整体性能，胜率达到65.17%。它在情感表达（88.84%）和非语言线索（82.14%）这些注重表现力的类别中表现特别强劲。值得注意的是，只有采用强提示的GPT-4o-mini-tts在"复杂发音"类别中超过了50%的胜率，这表明OpenAI可能针对这一能力进行了专门优化。

HumeAI排名为第二佳的闭源系统，性能优于Deepgram的Aura-2（Thalia）和ElevenLabs的Multilingual v2（Brian）。Aura-2在多语言设置中表现不佳，这与其缺乏显式多语言支持一致；当排除"外语词汇"类别时，其胜率上升到约35%，略高于ElevenLabs。

在开源模型中，Orpheus-TTS表现最佳，Qwen 2.5 Omni紧随其后。相比之下，Bark和Sesame1B展现出显著的性能缺陷，特别是在"情感"类别中。所有开源模型在"复杂发音"类别中表现都很差。

研究团队还观察到，强提示（即提供类别特定的指导）一致地提高了所有可用提示和未提示评估的模型的性能。例如，在强提示下，GPT-4o-mini-tts达到了56%的胜率，显示出相对于其基线配置的明显改进。GPT-4o-audio-preview也观察到了类似的提升。

胜率和MOS（平均意见得分）衡量的是语音质量的不同方面。例如，虽然Deepgram获得了最高的MOS得分，但几个MOS得分较低的模型却有更高的胜率。同样，Bark在MOS上优于一些开源模型，但在胜率上明显表现不佳。

五、深度分析：性能趋势与系统失效模式

研究团队对每个类别在不同精炼深度上的模型胜率进行了深入分析。模型自然地聚集为高性能（平均胜率>50%）和低性能组。虽然我们可能预期更深层次的语句会扩大这一性能差距——强模型表现更出色而弱模型表现更差——但研究发现显示出更微妙的模式。

在更高复杂度层次上，两种模型可能都会遇到困难，增加平局的可能性。此外，强模型有时会在面对更大复杂性时显示出系统性弱点，而表现较差的模型有时通过避免特定失效模式匹配或超过基线。尽管如此，六个类别中的四个展示出明显的深度敏感性能趋势。例外是"问题"和"语法复杂性"，其中更微妙的韵律期望导致跨深度的差异化不那么明显。

深度分析还揭示了一致的失效模式，并证明了评判者对韵律、语音和语义不匹配的敏感性。大多数开源模型能够适当处理"问题"和"语法复杂性"，Sesame1B是明显的例外，因为其平坦的语调和较差的停顿。Sesame1B在"情感"方面尤其挣扎，经常插入随机的插入语或产生单调的语音。所有开源模型在"复杂发音"上表现不佳，错误读取小数点，丢弃数字，并在更高复杂度下崩溃，MiniCPM和Tortoise-TTS甚至在深度0处就完全失败。

对于"外语词汇"，Sesame用不相关的内容替代非英语标记，而Orpheus将发音英语化到在语音上不正确的程度。

商业模型展示了不同的局限性：ElevenLabs在"复杂发音"方面表现不佳，而Deepgram Aura-2在处理较长语句时性能下降，并在表达丰富的非语言线索时挣扎。OpenAI模型在情感和多语言内容方面表现出色，但仍然偶尔出现细微问题——偶尔的发音错误、丢失日期和合成崩溃——这些都被评判者成功识别。

评判者能够有效区分强调表现，识别同形异义词歧义消除，并奖励适当的韵律，尽管微妙的非语言线索和情感转变仍然是完美评估的挑战。

六、文本标准化的影响与人类评估的一致性

在复杂发音类别的主要挑战在于解析不常见字符及其组合，这可以通过在将文本发送到TTS模型之前使用文本标准化(TN)技术来简化。研究团队测量了各种TN技术对胜率变化的影响，并增加了使用LLM（GPT-4.1-mini）作为TN的数据点。

结果表明，基本的TN技术并不总是提高模型在基准测试上的性能，有时甚至可能使其变差。例如，WeText将"$1,890.125375"转换为"one thousand eight hundred and ninety point one dollars twenty five thousand three hundred and seventy five"，这对TTS质量有害。同样，"0"有时被标准化为非正式的"oh"，这在正式或小数上下文中并不理想。"SQL"被正确地标准化为"S Q L"，但基线的发音"Sequel"是首选。使用LLM进行TN解决了许多这些问题并显著提高了胜率，尽管使用的基本提示仍存在一些错误。

为了测量模型评判者的偏好与人类偏好的相关性，研究团队进行了人类评估研究。他们创建了一个在线调查，让人类评判者呈现由基线TTS和比较TTS生成的音频片段对，并指示评价哪个更好（或平局）。为确保评估的一致性，参与者根据改编自模型评判者使用的提示的指示和评估标准进行指导。

研究团队计算了基于人类评分的比较模型排名（相对于基线）与每个模型评判者导出的排名之间的Spearman相关性。如表3b所示，所有评判者都获得了高相关性分数，表明模型评判者与人类在确定哪个TTS系统表现更好方面密切镜像人类偏好。

七、研究局限性与未来方向

研究团队指出了与数据集创建和LALM-as-judge范式相关的两个主要限制。首先，LALM具有可能在合成数据集中表现出的内在偏见，如偏好文学语言和形式措辞模式。对于"外语词汇"和"语法复杂性"等类别，深度=3的精炼级别产生了语法正确但在自然交流中很少出现的有些人工化的语句，不过这些仍然可以作为TTS系统的可靠压力测试。此外，他们的多语言评估侧重于拉丁文转写而非本地字符集，这并不能完全捕捉真正多语言TTS的挑战。

关于评估，使用Gemini 2.5 Pro会产生相当大的成本——每次完整的TTS系统评估约50美元。然而，不同评判模型之间观察到的强烈排名一致性表明，在不显著损失质量的情况下，有机会使用更经济的替代方案。研究团队还观察到，评估情感、韵律和语调等主观方面有时会导致LALM幻觉，评判者错误地识别发音问题。

尽管存在这些考虑因素，EmergentTTS-Eval代表了TTS评估方法的重大进步，通过解决现有基准中的关键差距。该方法系统地挑战了TTS系统在传统指标忽视的维度上的表现，同时提供了资源密集型人类评估的可扩展替代方案。评判者与人类偏好之间的强相关性验证了该方法，而基准测试揭示细粒度性能差异的能力证明了其在推动创建更人性化合成语音方面的实用价值。

八、结语：语音合成评估的新时代

在数字助手、有声读物和无障碍工具日益普及的时代，能够生成自然、表达丰富的语音的TTS系统变得越来越重要。波森AI团队的EmergentTTS-Eval代表了评估这些系统的一种新方法，超越了简单的质量度量，深入研究了真实世界应用中TTS系统面临的复杂挑战。

这项研究的重要性不仅在于它提供了一个更全面的TTS评估框架，还在于它引入了使用人工智能评估人工智能的创新方法。通过将大型音频语言模型作为评判者，研究团队能够大规模进行细粒度的评估，而这在传统上需要大量人力和专业知识。

或许最令人兴奋的是，该团队已经开源了评估代码和数据集，这意味着研究社区和行业可以建立在这项工作的基础上，进一步推进TTS技术的发展。随着语音合成继续融入我们的日常生活，像EmergentTTS-Eval这样的工具将帮助确保这些系统不仅能说话，还能以人类能够理解和欣赏的方式说话。

感兴趣的读者可以通过访问GitHub（https://github.com/boson-ai/EmergentTTS-Eval-public）和Hugging Face（https://huggingface.co/datasets/bosonai/EmergentTTS-Eval）获取完整的评估代码和数据集。

来源：至顶网一点号