摘要：试想一下，你正坐在客厅里观看电影，此时画面中有一架直升机飞过，你可以听到直升机的声音仿若就在你头顶上方移动，从房间的一侧到另一侧，营造出真正身临其境的观影体验。得益于基于沉浸式音频模型和格式(IAMF,Immersive Audio Model and For
试想一下，你正坐在客厅里观看电影，此时画面中有一架直升机飞过，你可以听到直升机的声音仿若就在你头顶上方移动，从房间的一侧到另一侧，营造出真正身临其境的观影体验。得益于基于沉浸式音频模型和格式(IAMF,Immersive Audio Model and Formats) 的新开源音频技术Eclipsa Audio，上述的听觉体验已能实现。无论是搭配了高端电视的高档影院系统，还是入门级移动设备和电视，该技术能够在多种常见消费电子产品中快速高效地处理此类需求。
该技术于今年国际消费类电子产品展览会(CES)上推出，由Google、三星、Arm和开放媒体联盟（开发了AV1视频格式的组织）共同打造。
什么是Eclipsa Audio？
Eclipsa Audio是一种多声道音频环绕格式，利用IAMF技术提供沉浸式聆听体验。该技术通过垂直和水平传播音频，革新了听觉体验。这种三维音景高度模拟自然环境，使电影、电视节目和音乐中的声音表现更为生动逼真。
Eclipsa Audio会根据不同场景动态调整音频，从而确保呈现最佳音质。此外，该技术还提供定制功能，使听众能够依据个人偏好调节声音，进而获得个性化及独特的听觉体验。
一个Eclipsa Audio比特流最多可以包含28个输入通道，这些通道被渲染到一组输出扬声器或耳机。这些输入声道可以是固定的，如管弦乐队中的麦克风；也可以是动态的，如动作电影中直升机穿过声场。
Eclipsa Audio具备双耳渲染功能，这对于通过耳机提供沉浸式音频的移动端应用至关重要。此外，这种新的音频技术支持跨消费类设备进行内容创建，使用户能够自行构建沉浸式音频体验。
Arm与Google在IAMF开发的合作历程
在IAMF开发过程中，Arm作为战略合作伙伴，与Google团队密切协作，以优化该技术的性能。Arm的工作重点在于提高Opus编解码器和IAMF库(libiamf)的效率，确保其在当今广泛应用于移动设备和电视中的Arm CPU上实现最佳性能。
自2005年以来，Arm CPU已经集成了Neon SIMD扩展，并且在此之后取得了显著发展，使得音频和视频处理等数字信号处理(DSP)任务实现了性能跃升。针对IAMF，Arm的工程师致力于技术优化，使其能够在最低CPU使用率下实时解码复杂的比特流，如此一来，即使CPU正在处理体验中的其他任务，也能确保可靠的性能。这对于注重能效的移动端应用尤为重要。
性能增强
Arm一直在为opus-codec和libiamf升级补丁，专注于浮点实现，以实现最佳性能。这些增强包括：
-Neon Intrinsic优化：该优化支持多种Arm架构（包括Armv7 + Neon、Armv8-A32、Armv8-A64和Armv9），从而加速了浮点到 INT16的转换和软削波。此外，还为多通道扬声器输出中的矩阵乘法和通道解压缩提供了 CPU 特定的优化。
-性能提升：在Quartz64和Google Pixel 7等设备上，不同扬声器配置（如立体声、5.1、9.1.6）都有显著的性能提升。举例来说，9.1.6的输出在Pixel 7的Arm Cortex-A55 CPU核心上性能提升超过了160%。
-解码效率：经优化后，所有测试文件在AArch64上的解码时间少于实时的16%，而在AArch32上则少于实时的 23%，使其在Cortex-A55处理器上极为高效。
核心技术
IAMF支持多种音频编码格式，包括LPCM、AAC、FLAC和Opus。其中，Opus是当前最时新的编解码器，通常被认为是首选。Arm针对Arm架构对Opus进行了进一步优化，从而确保其在IAMF框架内高效运行。
IAMF库(libiamf)负责解码IAMF比特流，并为各类音响系统生成扬声器输出。Arm引入了一种CPU专用化框架，通过编译时特征检测，确保该库针对其运行的平台进行了优化。
通过对Opus编解码器和libiamf库等关键组件进行优化，Arm的工程师确保了IAMF在Arm CPU上能够提供卓越的性能。这不仅提升了用户体验，也体现了Arm的技术在前沿应用中的重要价值。
开放媒体联盟支持的IAMF开放标准方法，与Arm提供广泛可访问性和推动创新的愿景高度契合。此次合作凸显了Arm在推动沉浸式音频技术未来方面的重要作用，为包括高端家庭影院系统、入门级移动设备和电视等在内的各种现有及未来设备，提供高质量的音频体验。
沉浸式音频的未来就在这里
IAMF彰显了沉浸式音频技术的重大飞跃，通过利用人工智能(AI)和深度学习技术以及Arm支持的强大性能优化，提供多功能和高质量的音频体验。
沉浸式音频的未来已经到来，并且变得更加触手可及。无论您是普通听众还是音响发烧友，IAMF将为您带来前所未有的沉浸式音频体验。
来源：中关村在线