摘要：就在今天凌晨，OpenAI的全新音频模型上线了！语音智能体的时代正式开启了！现在可以利用新的语音模型，指导GPT-4o的说话语气：想温柔就温柔，让疯狂就疯狂！而且，定价也很亲民，比上一代语音模型更便宜。
【导读】 就在今天凌晨，OpenAI的全新音频模型上线了！语音智能体的时代正式开启了！现在可以利用新的语音模型，指导GPT-4o的说话语气：想温柔就温柔，让疯狂就疯狂！而且，定价也很亲民，比上一代语音模型更便宜。
就在今天凌晨，OpenAI的全新音频模型上线了！
这次，一共发布了三款全新语音识别模型gpt-4o-transcribe、gpt-4o-mini-transcribe、gpt-4o-mini-tts，正式开启了语音智能体的时代。三款模型的语音转文本和文本转语音的功能，让开发者能轻松构建智能体。
gpt-4o-transcribe (语音转文本)：比原来的Whisper模型更准确，更理解人类说话，错误更少 gpt-4o-mini-transcribe (语音转文本)：gpt-4o-transcribe 的精简版本，速度更快、效率更高 gpt-4o-mini-tts (文本转语音)：可控性强，用户可以直接对它发号施令，不仅指定说什么，还能教它怎么说 在价格上，也有大惊喜：API价格，最低达到了每分钟0.3美分！ 跟昨天的o1-pro API的天价token相比，语音模型的API真可谓是良心价了。 要知道，昨天的OpenAI史上最贵API，输入价格150美元/每百万token，输出价格600美元/每百万token，比DeepSeek-R1要贵上千倍。 这也就意味着，以后像客服中心记录电话或者记录会议内容这样的工作，都会变得更可靠，更方便，甚至更便宜！ 语音转文本的两个全新模型，比起之前又来了一波大升级，比OpenAI原来的Whisper模型更准确，能更好地理解人类语音。 在多种语言上，有更低的词错误率（WER）。现场实测
昨天凌晨的直播中，OpenAI给我们现场怼脸实测，展示了一番新的TTS模型实际表现到底怎么样。首先，他们的VOICE（音色）选择了Ash，然后在VIBE（大概是情感的意思）中随机出了Mad Scientist（疯狂科学家）。
之后输入了需要合成音频的脚本： Ah-ha-ha! The stars tremble before my genius! The rift is open, theenergy surging-unstable? Perhaps. Dangerous? Most certainly! Captain Rylen's hands twitch over the controls. Fools! They hesitate, but I-I alone see the future! 「Engage the thrusters!」 I bellow, eyes wild with possibility. The ship lurches, metal groaning-oh, what delicious chaos! Light bends,time twists,and then-800M! Silence. Darkness. And then. oh-ho! A new universe! Bigger! Stranger! Andmine for the taking! Ah-ha-ha-ha! 首次尝试的时候没输出，不过刷新后很快模型正常输出音频，大家可以通过下边视频感受一下模型的效果。 可以听得出，合成的语音质量还是挺高的，基本上没有多少AI味了，甚至还有一些高级感。 语音清晰，但语气狂得飞起，听起来就像一本正经的吹牛。 接着，他们又换了另一种VIBE：Serene（宁静），输入了下面的合成脚本： This livestream is going really well! You are doing great. 这次的语音效果就显得十分平静，给人一种宁静感，就像李白《静夜思》的意境一样。还可以利用全新的的语言模式，直接调用智能体！
从今以后，文本智能体转换为语音智能体变得轻而易举。 直播中，演示了要在电话上使用Patagonia客服智能体，需要修改已有智能体的哪些代码。 只用9行代码，智能体不仅听得懂人话，而且会开口说话了！ 就像AI版的Siri，可以直接询问最近的订单，智能体听起来就像真的客服一样。 Agent调用工具，获得相关信息后，回答自然，准确，流畅。 直播的结尾，还有一个小彩蛋。 OpenAI现场宣布举办有奖竞赛，可获得全球限定版收音机： 谁能想出最有创意的文本转语音使用方式，并 分享给 Open AI 的Twitter 账户， 就有机会获得特别版收音机 。 他们会选出3位获奖者，可能是因为这款收音机全世界只有三台，背面有Open AI 的 logo 。 创意爆棚的小伙伴可以去碰碰运气。OpenAI，意在语音Agent
OpenAI在博客中称，新的语音模型套件旨在为语音Agent提供强大支持，并已向全球开发者开放。
所有这些功能都可以通过API来实现。
昨天，OpenAI推出了两款新的语音识别模型：gpt-4o-transcribe和gpt-4o-mini-transcribe。 它们比原来的Whisper模型更准确，能更好地理解我们说的话。 在几个重要的测试中，gpt-4o-transcribe表现比Whisper模型好，错误更少。 这是因为OpenAI用了更先进的学习方法和更多音频数据。 这些新模型能更好地理解人说话的细节，减少错误，特别是在有口音、很吵或者说话很快的情况下。 现在，这些模型已经可以在OpenAI的语音转文本API中使用了。 新模型在多个测试中都取得了更低的WER，包括一个包含100多种语言的测试。这表明新模型在更多的语言上都能表现得很好。 指标「词错误率」（word error rate，WER）用于衡量语音识别的准确性：WER越低，表示模型越准确。在真实音频数据上预训练
在 GPT-4o 和 GPT-4o-mini 架构之上，新的音频模型在专门的以音频为中心的数据集上进行了大量预训练。 这些数据集对于优化模型性能至关重要。 这种有针对性的方法使得模型能更好地理解语音中的细微差别，从而在音频相关任务中表现出色。先进的蒸馏方法
OpenAI还改进了蒸馏技术，使得大型音频模型能够将知识有效地转移到更小、更高效的模型中。 通过采用先进的自我博弈方法，蒸馏数据集成功捕捉了真实的对话动态，模拟了真实的用户与助手的互动。 这帮助小型模型在对话质量和响应性上表现优秀。强化学习范式
对于语音转文本STT模型，OpenAI引入了强化学习（RL）范式，让转录准确度达到了最先进的水平。 这种方法显著提高了精准度，并减少了幻觉，在复杂语音识别场景中具备了极强的竞争力。 这些技术进展代表了音频建模领域的突破，结合创新的方法和实际的增强，提升了语音应用的性能。API全球开放
这些新音频模型现已向所有开发者开放。
更多关于如何使用音频的内容，参阅OpenAI的相关文档。未来计划：多模态AI
展望未来，OpenAI计划继续投资于提升音频模型的智能性和准确性，并探索允许开发者引入自定义声音的方式，从而打造更个性化的体验，同时遵循安全标准。
此外，将继续与政策制定者、研究人员、开发者和创作者进行对话，共同探讨合成语音所带来的挑战与机遇。 OpenAI期待看到开发者利用这些增强的音频能力，打造出创新和创意应用。 同时，也会投资于其他媒体形式——包括视频——以便开发者能够构建多模态的智能体验。来源：东窗史谈