自影像变得更像“真人”,visionOS 26 背后的技术我们问到了

360影视 日韩动漫 2025-06-18 08:00 3

摘要:在 WWDC25 结束之后,我们第一时间带来了全系统的上手体验,不知道大家印象最深的是哪个功能,对于我们来说,除了全新的 Liquid Glass 材质之外,visionOS 26 的更新给我们留下了非常深刻的印象,尤其是升级之后的自影像和小组件功能。

在 WWDC25 结束之后,我们第一时间带来了全系统的上手体验,不知道大家印象最深的是哪个功能,对于我们来说,除了全新的 Liquid Glass 材质之外,visionOS 26 的更新给我们留下了非常深刻的印象,尤其是升级之后的自影像和小组件功能。

在深度体验过之后,我们也有机会与 Apple Vision Pro 高级产品营销总监 Steve Sinclair 和 Apple Vision 产品高级总监 Jeff Morris 进行了一次交流。聊了聊这次visionOS 26 新功能背后的技术,以及 Apple 如何通过软硬件的深度整合,将虚拟空间和现实世界完美融合。

毫不夸张地说,当我们第一次见到全新的自影像时,真的被震撼到了,从我们的实际体验来看,visionOS 26 中自影像的面部细节有了“真人级”的加强,它不再是“长得像我”,而是有着细腻皮肤纹理、精细面部特征和自然神态的“数字的我”,哪怕是把它拉到眼前近距离查看,这些细节依然清晰、自然,我们在测试的时候,和我通话的同事表示,真的就像在和我面对面沟通一样,完全没有之前那种让人出戏的“恐怖谷”效应。

(从左到右依次是 visionOS 26、自拍、visionOS 2)

完全相同的硬件、完全相同采集过程、几乎相同的生成时间,只是升级到了visionOS 26,就带来了截然不同的结果。

Jeff 表示,这项突破的背后,是 Apple 在 visionOS 26 中引入了高斯泼溅(3D Gaussian Splatting)技术,它有点像是点云,但每个“点”其实是带颜色、半透明的模糊斑点,多个叠在一起,就能呈现出非常自然、逼真的效果。

高斯泼溅技术是一项 2023 年才发布的渲染方法,它跟之前常见的点云不同,传统点云里,每个点更像是一个孤立的像素,而高斯泼溅中的每个“点”其实是一个有体积、带颜色的模糊小斑点。这些斑点可以互相重叠、融合,最终拼出一幅非常自然、柔和,而且接近真实世界的三维画面。

正因为高斯泼贱技术的加入,自影像在 Apple Vision Pro 中可以呈现出十分精细的细节,我们还注意到,全新的自影像即使从不同角度看过去,它也能保持同样的真实感。

(从左到右依次是 visionOS 26、visionOS 2)

Jeff 透露,Apple 为了实现这一点,专门重构了神经网络引擎,使其支持“多视角渲染”。当多人通话时,几个人同时在不同的角度看你,系统都会为每个人实时生成对应的视角细节,从而确保每个人看到的都是最真实的你。相比之下,之前的自影像更多聚焦在人脸中部区域,也就是人们在对话时最常注视的部分,细节范围相对有限。

Jeff 还进一步告诉我们,即使生成这样高精度的自影像,整个渲染过程也完全在本地运行,现在最多同时呈现 4 个其他用户的虚拟形象——这一点对于远程会议或多人互动来说非常关键。

在自影像之外,Apple 还把高斯泼贱技术用到了空间场景的构建,现在在相册里可以一键把一张 2D 照片转换成空间场景,不同于之前的空间照片,空间场景带来的临场感更强,它不只是让照片有景深,而是能根据你的动作做出反馈,比如一张窗外的照片,当你左右移动时,画面会像真实世界一样移动,你甚至可以看到窗户后面的更多风景,就像真的在窗前一样。

空间场景也被整合到了 Safari 的空间浏览中,当我们在空间阅读器模式浏览网页的时候,页面中的照片会自动变成空间场景,带来更有空间感的浏览体验。

visionOS 26 另一个让我们印象深刻的更新就是空间小组件,现在可以把日历、时钟、照片这些常用应用“钉”在墙上,用“赛博装修”让它们成为生活空间的一部分。这些空间小组件还具有位置记忆,即使离开房间或者重启Vision Pro,它们依然会待在原来的地方。

Jeff 透露,Vision Pro 会在本地生成房间的详细地图,设备清楚地了解房间中的几何信息,比如桌面、墙面这些具体表面,因为小组件是要“钉”在这些表面上。他还补充说,Vision Pro 还能够识别出当前所处的具体房间,即使室内的家具或者灯光发生了变化,设备也能在零点几秒内完成重新识别,并迅速恢复原先的空间布局。

在此前的体验环节,我们在一间屋子体验完一些功能后,被带到了隔壁格局几乎相同的房间,当我们进门的时候,此前设置好的小组件就已经显示在墙上了,识别的过程几乎没有感知,就好像这些小组件本来就在那里一样。

Jeff 解释到,是因为 Vision Pro 生成的环境地图中包含了大量特定的细节信息,所以即使是两间结构相同的房间,它也能迅速识别到对应的布局。

在小组件之外,这张“环境地图”也可以实时共享给附近的其他 Vision Pro,这意味着在多人使用场景下,每一台 Vision Pro 不仅知道自己身处的空间,也能理解别人所处的位置和视角。通过这种信息共享,我们就可以围绕同一个 3D 模型进行互动,彼此之间看到的是完全一致但又基于自身视角的体验。

共享也是在 visionOS 26 中被反复提到的变化,比如现在可以和家人一起看 3D 电影、玩空间游戏等等,基于 Vision Pro 对于空间感知能力的提升,这些共享场景不仅仅是看到相同的内容,而是真正意义上的共同在场。

不仅如此,前面提到的自影像,其实也是为了拉近人与人之间的距离。它让彼此在各自空间中的存在感更真实、更自然,沟通时就像面对面一样,减少了过去那种因为虚拟形象不真实所带来的疏远感,从而带来更紧密的连接。

visionOS 26 还带来了如眼动滚动、通话接力、iPhone 解锁、原生播放全景视频视频等细节功能,不仅让系统更易用,也带来了更沉浸式的体验和更高的使用效率。这一系列新功能,也再一次体现了 Apple 强大的软硬件整合能力,这背后是一整套由 Apple 自研芯片、传感器、渲染算法和系统协同驱动的技术体系。

比如高斯泼溅这类对算力要求极高的渲染技术,能够在 Vision Pro 上实现本地、低延迟生成,靠的是芯片和系统的深度适配;Vision Pro 能记住房间共享数据,也离不开摄像头实时感知和系统级的数据调度。而 Apple 能够掌控从硬件到底层算法的每一个环节,才让这些体验变得自然、流畅、近乎无感。

正如 Jeff 在采访中所说:“我们希望在这个过程当中,你是不会注意到这个技术的——技术是隐身的。”这正是 Apple 的一贯思路:让体验成为主角,而 visionOS 26,正是这一理念在空间计算的体现,它也成为了人与人之间连接的新方式。

来源:Eva的科技生活一点号

相关推荐