摘要:4月22日下午,国产芯片厂商国科微正式发布其自研新一代人工智能图像处理引擎(AI ISP)品牌——圆鸮,标志着其在人工智能与图像处理技术结合方面迈出关键一步,有望为安防、低空经济、消费电子、工业互联网等行业带来更加先进的智慧视觉处理芯片及解决方案。
4月22日下午,国产芯片厂商国科微正式发布其自研新一代人工智能图像处理引擎(AI ISP)品牌——圆鸮,标志着其在人工智能与图像处理技术结合方面迈出关键一步,有望为安防、低空经济、消费电子、工业互联网等行业带来更加先进的智慧视觉处理芯片及解决方案。
什么是AI ISP?有何优势?
传统的图像信号处理(lmage Signal Processing, ISP) 主要是用于对图像传感器输出的原始图像信号进行处理和优化。其原理是将图像传感器接收到的光信息处理成图像信息,并通过系列数字图像处理算法对图像噪声、亮度、色彩等进行优化,让智能终端设备面对复杂多变的现实环境,拥有看清世界的能力。
但是随着用户对于画质的要求越来越高,传统的ISP所能够带来的画质改善的空间已经越来越小,特别的面对暗光等复杂场景,传统ISP要有明显的效果提升,则不可避免的需要增加器件,比如增加ISP的核心数量(不少智能手机芯片厂商甚至在旗舰芯片当中采用了三个ISP)来提升性能、采用大面积的图像传感器、大光圈镜头、增加补光灯等,如此一来成本较高,难以普惠大众。
国科微智慧视觉产品线高级市场经理潘雨表示:“事实上,传统ISP一直在持续迭代,但是能够看到的收益已经越来越小,给用户带来的能够感受到的体验的提升非常有限。而将AI技术与ISP技术融合,通过构建AI视觉的处理模型,则能够突破传统ISP的性能的天花板,带来视觉效果的质的提升。”
那么相对于传统ISP,AI ISP具体能够带来哪些方面的提升呢?
简单来说,AI ISP通过加入人工智能(AI)技术,使得ISP对于图像信号的处理更加的智能和个性化,不仅能够看得清,还能为“看得懂”提供有力保证。
具体来说,传统的ISP主要涉及信号的预处理、降噪、色彩校正、白平衡调整、图像增强和压缩等步骤。这些步骤通常依赖于固定的算法和预设参数来对图像进行处理,在光线不足或复杂光环境下,图像很容易出现噪声、色彩失真、细节丢失等问题。而AI ISP则通过将训练过的AI算法模型、专用的NPU/IPU加速单元和图像信号处理器进行融合,不仅支持AI降噪、HDR增强、色彩矫正、提升逆光/暗光表现,并能够根据实时场景、拍摄的物体、用户的偏好来自适应地来优化各种参数,提供更精确、清晰的图像处理效果。
得益于AI ISP的诸多优势,其在智能手机、安防监控、工业检测、AI/AR眼镜、自动驾驶、医疗成像等诸多领域将拥有广泛的增长空间。
四大核心技术能力加持,智慧视觉芯片市场国科微份额居前
作为多年来一直深耕于视频处理、端侧AI及车载电子领域的芯片及解决方案提供商,国科微凭借持续的研发投入以及市场端的不断反馈和验证,形成了四大核心技术能力:
1、丰富的复杂SoC芯片及方案设计经验。包括自研核心模拟IP;高集成度的能力,可以帮助客户降低产品复杂度及成本;成熟的复杂SoC系统设计能力;多操作系统解决方案能力: Linux/Android/TVOS等。
2、优异的视频编解码能力。在AVS2/AVS3、H.264/H.265/H. 266等编解码技术方面,国科微都有深厚的积累,实现1080P~8K编解码能力的完整布局,不仅支持HDR VIVID、Audio VIVID、ChinaDRM等国标,还支持Smart264/265方案,可以进一步降低码率。
3、领先的图像信号处理能力。国科微长期投入算法自研算法,并自研了核心的ISP,以及图像处理IP。
4、自研NPU,实现了0.2T-20T算力的布局,可满足多种场景应用需求。其中,神经网络加速器利用率高,全面适配主流网络,拥有高能效比,可满足极低功耗应用。在开发工具链方面,也非常高效易用。
凭借这四大核心技术能力的加持,国科微已经成功构建了从前端到后端、从高端到低端的AI视觉处理器产品矩阵,并在国内的ISP、安防监控IPC芯片、NVR/DVR芯片市场取得了不错的市场份额。
据潘雨介绍,国科微的自研ISP目前稳居行业第一梯队。凭借在ISP、编解码、NPU等核心技术领域的优势积累,国科微AI视觉芯片已在国内安防市场占据稳定的市场份额。一些第三方数据显示,在安防监控IPC芯片市场,国科微大概占据了约20%的市场份额,在消费类的智慧视觉芯片市场也拿到了约20%的市场份额。
国科微圆鸮AI ISP发布:六大关键技术特性解析
得益于国科微在上述四大核心技术方面的积累,以及对于AI视觉市场需求的敏锐洞察,国科微推出全新的圆鸮AI ISP产品线也是顺理成章。
据介绍,圆鸮AI ISP在降噪、多光谱融合、RGBIR、防抖、拼接、快速对焦等技术方面实现了全方位的支持与性能提升,可以带来更加优异的“黑光全彩”效果与高质量成像。
具体来说,在超感光降噪方面,圆鸮AI ISP基于自研的AI降噪算法模型,可以将信噪比提升8db,这样可以有效区分图像中的信号和噪声,从而实现精准降噪,即使在极低照度场景下,成像也能够做到夜如白昼。
在多光谱融合方面,圆鸮AI ISP能够支持同时融合红外光和可见光图像信息,结合自研的ISP融合算法,可以实现在暗光、弱光的环境中,仅需补充红外光,即可输出无光污染的全彩图像,在夜间成像能够实现全彩透亮的效果。
“红外光可以补充更多的细节,且不会产生光污染,与可见光(补充色彩信息)进行融合后,可以实现图像质量的大幅提升。另外还可以一路接入红外热成像传感器(可以感知温度),一路接入可见光来做融合,这样还可以实现更多的功能。”潘雨进一步解释道。
设备运动所带来的画面抖动也是图像处理的一大难点。国科微圆鸮AI ISP通过结合AI算法,可以支持6-DOF数字防抖,支持电子防抖和数字防抖,可以精准识别并消除高频抖动,让运动图像更加流畅。
国科微ISP研发中心负责人王玺林告诉芯智讯:“传统的防抖解决方案主要有两大类,一类是光学防抖、机械防抖,这类解决方案可以实现出色的稳像,但是成本很高;另一类则是电子防抖(EIS)、数字防抖(DIS),成本相对较低。其中,电子防抖是依赖于陀螺仪,但其对平移的抖动不敏感,相比之下数字防抖对平移敏感。所以,圆鸮AI ISP可以帮助客户以低成本实现超级稳像。”面对大视野的图像处理需求,圆鸮AI ISP也能够很好的满足。据介绍,圆鸮AI ISP支持最大四目拼接,通过整合四个摄像头的图像,可提供更宽广的视角和无缝融合,实现更高分辨率的成像,极大地拓展成像视角。
与此同时,圆鸮AI ISP还支持PDAF技术,可以实现快速对焦。
王玺林指出,多年以来,国科微在2D NR、3D NR、双3DNR降噪,宽动态,多光谱融合,AI降噪等方面有着深厚的技术积累,同时通过算法团队、AI 团队与逻辑芯片团队的深度协同创新,形成跨领域技术融合的研发优势,确保技术创新能够高效转化为实际产品竞争力。未来,圆鸮AI ISP将在AI SR,AI超分技术、AI去雾、AI拼接、AI DRC宽动态等方面持续进阶,不断提升产品的竞争力。
圆鸮Al ISP芯片已获安防头部企业采用
目前,首款基于圆鸮AI ISP的AI视觉处理芯片GK7606V1系列已在安防行业头部企业实现应用。据介绍,GK7606V1系列内置双核Cortex A55处理器,拥有最高2.5TOPS NPU算力,支持4K编解码、4K@25fps AI降噪,具有高画质、低码率、低内存、低延时以及低功耗等优势。可以满足专业安防、中高端消费类IPC、运动DV、行车记录仪、图传等应用。
根据国科微公布的对比数据来看,GK7606V1系列在噪声控制、饱和度、清晰度及暗区细节上,表现整体优于友商。
除了GK7606V1系列之外,国科微还推出了一款搭载圆鸮AI ISP的普惠4K AI视觉处理芯片GK7206V1。该芯片支持双核Cortex A7处理器并内置RISC-V小核,1TOPS算力,支持4K@25 H.264/H.265编码,支持AOV、快启,支持双MIPI+DVP三目输入,近期即将上市。
AI ISP市场混战,国科微能否脱颖而出?
根据市场调研数据显示,2023年中国用于AI视觉芯片销售收入将达到630亿美元,同比增长约18%。预计到2024年,AI视觉芯片销售额将增长25%,达到799亿美元。近年来,随着用户对于图像质量要求的持续提升,已经推动了独立的ISP芯片市场的快速增长。
根据dataintelo的数据显示,2023年,全球独立ISP芯片市场规模约为32亿美元,预计到2032年将增长到约59亿美元,预测期内复合年增长率为7.1%。但是,由于传统ISP对于图像质量的提升已经遇到了“瓶颈”,而在人工智能技术加持下的AI ISP芯片,则能够持续满足不同领域对于更复杂图像信号处理需求,这也意味着AI ISP芯片有望逐步取代传统的独立ISP。并且,随着应用需求从传统的安防监控、车载市场进一步扩展到AI/AR眼镜、工业等更广泛的应用领域,市场空间也将会进一步打开。
目前,在AI ISP技术领域,除了国科微之外,还有华为海思、星宸科技、富瀚微、爱芯元智等玩家,他们也都在积极地推动AI ISP对于传统的ISP的替代,预计未来这一市场的竞争也将会越来越激烈。
对此,王玺林认为,国科微拥有成熟的传统算法团队,同时组建了优秀的AI算法团队,外加逻辑和软件团队,形成多个团队深度融合,构建了从算法、逻辑到软件平台的完整组织架构。特别是在降噪技术领域,国科微做了大量的储备,构筑了圆鸮AI ISP的技术优势。
AI ISP市场才刚刚兴起,随着人工智能技术的不断提升,AI ISP在各行业的应用需求将会日益增长。国科微此次推出的GK7606V1和GK7206V1系列一高一低的定位,将可为智能安防、行车记录仪、无人机图传、运动DV、会议摄像头等应用领域提供丰富的解决方案。
编辑:芯智讯-浪客剑
来源:芯智讯