摘要：在音视频技术不断发展的今天，钉钉团队一直在探索如何通过创新技术提升用户体验。本文将介绍钉钉在iOS双摄像头技术上的最新应用，这一创新不仅解决了直播场景中的多画面需求，还为用户提供了更丰富的交互体验。

在音视频技术不断发展的今天，钉钉团队一直在探索如何通过创新技术提升用户体验。本文将介绍钉钉在iOS双摄像头技术上的最新应用，这一创新不仅解决了直播场景中的多画面需求，还为用户提供了更丰富的交互体验。

钉钉一个小小的创新，分享给你大家～

大家好，我是钧小鸿，是一名钉钉音视频直播 iOS 开发工作者。在日常工作中，我们除了支撑好业务工作外，我们音视频端团队还会实时关注 iOS 等苹果技术的发展动向：比如画中画、iPad 分屏、灵动岛、视频效果等等，并针对这些不同的新特性、新技术和相关业务结合，从而能做出更好的体验、更优秀的产品。比如去年钉钉和苹果合作适配 Apple Vision Pro（钉钉正式登陆苹果Vision Pro），结合这种新型设备，可以让虚拟人分身参与会议、观看大屏直播。那这次，我们还要进行哪些原生应用创新的探索呢？跟着我一起往下看👀

考虑一个场景，在部门直播一场篮球赛的热场直播阶段，摄像头除了抓取球场的画面，主播也会去采访现场观众。我们收到同事的反馈，“我只有一个手机，没法直播拍摄两个画面”“多机位多画面的直播，那不得要用专业设备啊”。

的确，现在在一些知名视频网站上，越来越多的解说视频里解说画面和视频画面同时出现的。观众对解说的诉求已经不仅仅停留在听声音，大家也喜欢看到解说的神态表情等肢体画面。那么这个问题是否能解决呢？

用一个手机，既能充分进行赛事直播，又能看到主播酣畅淋漓地进行讲解。

答案当然是可以的。

作为音视频的开发，我会重点关注苹果在视频相关的一些技术迭代，比如画中画、视频效果、摄像头等等。音视频中声音保证了最基本的沟通和传播，当然是首要保证的，但是在保证了声音的基础上画面能提供更优秀的体验，值得我们对其做相应的探索和研究。

众所周知，单摄像头的处理方式是将摄像头采集到的一路视频帧经过前处理预览发布即可，那么是否能多路视频流同时采集并输出以在特定场景能有更好的体验呢，我们探索将苹果的双摄像头和直播业务的结合。

使用双摄像头时，需要使用 AVCaptureMultiCamSession 来管理多路视频的采集，其工作原理如下：

因为我们还需要对录制的视频帧做美颜、合流等处理，我们要优化成更适合直播音视频场景的双摄像头模型，所以需要选择 AVCaptureVideoDataOutput 作为输出，优化后的摄像头录制模型工作流如下：

这样的模型工作流，会让创建多路会话并录制输出的交互更简单，接下来我们讲一下其在钉钉直播业务场景中，是如何应用的。

通过双摄像头模型，我们还会对视频帧做美颜、虚拟背景、缩放等处理，最终做合流发布。

另外，因为双摄像头基于 AVCaptureMultiCamSession 多摄像头会话，所以 iOS 13及携带 A12 以上芯片的设备支持该功能，系统：iOS 13 及以上。

机型：iPhone：iPhone XR、iPhone XS、iPhone XS Max 及以上机型。

iPad：2019款 iPad Pro 及以上机型。

1. 画面布局方式

双摄像头预览视图有两路视频流分别输出到两个预览中，因此有不同的组合方式：每路视频流固定在一个预览视图，切换摄像头方向时交换两个预览视图；预览视图固定位置，切换摄像头时交换两路视频流对应的预览视图。

双摄像头采集时主播侧需要输出两个前后摄像头预览给业务层展示，经过和我们的交互老师探讨后，结合现有的视频多画面和手势交互等多方考虑，最终确定两种预览视图的布局方案：基于横屏和竖屏，左右或上下等分平铺；如下为第一种布局方式，上方为前置摄像头、下方为后置摄像头。

2. 自如的交互体验

我们支持用户可以左右拖动，调整画面大小，当放手时若画面小于一定范围，则自动关闭双摄像头，切换到单画面模式。当然，用户也可以在设置页重新开启双摄像头。

有了双摄像头功能，音视频部门在秋天举办部门足球联赛时，我们的同事可以随手使用自己的苹果手机，进行赛前解说，给活动预热，增加直播的快乐～

双摄像头虽然是一个支线功能，但它让直播有了更多的拍摄效果。双摄像头在户外或小型活动直播中非常有用。感谢我们的设计师，让功能体验有了更好的效果。目前有的户外直播等已经支持该功能，相信后续会有越来越多的直播平台支持。

目前钉钉直播的双摄像头功能已经完成，不过仍有待进一步完善，比如：合流部分，现在使用的是 CPU 合流，对资源消耗比较严重，后续需要持续优化，换成 GPU 合流，性能会有进一步提升；目前只实现了平铺布局，大小窗的布局仍待实现。

除此之外….还有彩蛋！

钉钉技术团队还会探索基于画中画的能力，实现共享内容时，更多摄像头合流实现画面露脸的交互效果创新探索，包含画面和手势的 AI 识别交互、以及与更多语音视频识别结合的钉钉 AI 能力创新等。

钉钉小而美的创新探索～一直在进行！

来源：人人都是产品经理