在 2021 年 9 月的 vivo 影像技术分享会,vivo 正式公布其首颗自主研发的专业影像芯片 V1。一同发布的,还有当时业界少有的具备高透光率、超低色散、热稳定强的超高透玻璃镜片,以及 vivo 联合蔡司共同研发的蔡司自然色,以满足专业用户的色彩需求。
后面的故事我们都知道了,那就是这些技术都实际装载在随后发布的 vivo X70 系列。得益于这三位一体的组合拳,更是有采用新技术 RGB 超薄色彩滤光片以提升透光率的 IMX766V 定制传感器,vivo X70 系列在影像方面的表现可谓是有口皆碑。
在 2020 年 9 月的 vivo 影像+ 媒体发布会,vivo 首次透露其已投入开发一年之久的 RGBW 排列的全新感光元件。相较传统像素排列传感器的感光效率提升 160% 同时,vivo 还表示其全新的 RGBW 排列的传感器不会出现偏色、高光溢出等问题。
后面的故事我们都知道了,那就是提前研发许久的这颗 RGBW 排列的传感器就是 vivo X80 所采用的 IMX866。更是通过 vivo 的深度调校,vivo X80 的实际影像表现是旗舰机型中的的佼佼者。
在智能手机快速发展的世界里,过去一两年的事情可以毫不夸张地说是“老黄历”,为什么还拎出来说?
每一家厂商对于影像都有自己的理解和持续积累,自然也会有着眼于未来的技术预研。可是将影像作为长期坚持的赛道,vivo 在这条赛道上设置了多个目标、技术节点,最关键的是 vivo 能够确保影像技术的研发进度以及切实落地。
有了这个前提,我们回顾这两场技术沟通会,可以发现 vivo 在影像这条赛道是通过持续积累经验和持续探索技术,让手机影像达到一个又一个的新高度。
从最开始传感器的滤光片定制,到再进一步定制传感器的像素排列,持续积累经验和持续探索技术使得 vivo 对感光元件的理解进一步深入,并且前进至下一个目标,那就是最新公布的 VCS 仿生光谱技术。
在技术原理反面,传统的 RGGB 或者新颖的 RYYB、RGBW 像素排列的感光元件,光线在进入时都需要先通过 color fiter 也即滤光片。
然而 color fiter 光谱与人眼的差异很大,所以还需要经过复杂的处理、计算,才能够还原为人眼感知的色彩信息。可是这个复杂的处理、计算过程中会损失信息,进而导致画质变差。
VCS 仿生光谱技术就是改进 color fiter 光谱,降低计算、处理的过程中损失的信息量,使得感光元件接收到的信息尽可能与人眼接近,进而提升 20% 信噪比以及 15% 色彩还原。结合下一代产品配备的更大面积的传感器,感光能力相比 vivo X80 Pro 所采用的 GNV 将会提升 77%。
vivo 自研影像芯片同样在持续积累经验和持续探索技术。自第一代影像芯片 V1 通过固化算法实现高能效和低延时,以提升影像体验。再到有所改进的影像芯片 V1+ 能够做到更多的使用场景扩展,带来更佳的夜景成像质量,可以清晰看清极暗场景的“黑光夜视”功能更是让人记忆深刻。
得益于 V1、V1+ 的经验积累,vivo 再进一步探索下一代自研影像芯片。这颗还没有名字的自研影像芯片将会采用全新的 AI-ISP 架构设计,能够通过硬件直连的方式将 AI 计算直接融入 ISP Pipeline 中,完成数据的无缝缓冲和处理。
并且这颗 AI-ISP 架构的影像芯片将会采用定制 10bit MAC 电路,实现高效的 10bit 运算,推理延迟相较传统 NPU 最多降低 96%,能效比最高有着 200% 的夸张提升。
相比起一倍、两倍的量化数据提升,我更感兴趣也觉得更有意思的,是这颗还没有名字的下一代自研影像芯片还有全新的自研片上内存单元、自研 AI 计算单元以及自研图像处理单元:
- 自研片上内存单元采用了 DDR-Less 片内近运算架构,配备硬化在片上的超大 SRAM,有着运算快、延时低的特征,并且峰值数据吞吐率达到 1.3 万亿比特(bit/s);
- 自研 AI 计算单元采用了 DLA 深度学习加速器架构设计,通过内嵌专用的片上 SRAM,可以大幅度减少数据访问延迟。同时 vivo 还将算法与 DLA 联合定制计算,实现软硬协同优化以解决功耗问题,使得峰值能效比达到 16.3TOPS/W;
- 自研图像处理单元则是带来一系列的算法优化和提升。在原有影像芯片 V1+ 的 NR 算法基础上升级的 AI-NR 降噪算法,就能够提升 20% 的夜景降噪效果。HDR 影调融合理论上,在城市夜景时能够提升 4EV 的动态范围。MEMC 插帧算法进一步改善延迟问题,同样最高支持 1080p 60fps 的夜景视频录制;
要是对处理器、AI 等有一定了解认知,或者就只是看着各种理论数据,那么都会有同样的感觉,那就是 vivo 这颗还没有名字的下一代自研影像芯片有多么强大,自然会为下一代产品带来影像的性能提升和更好的使用体验。
有感光元件方面的经验积累,有自研影像芯片的经验积累,必不可少的是影像算法的积累。在这场影像战略发布会上,vivo 在影像算法方面的持续积累,有一个个明确的量化数据给到我们信心。
- 此前 vivo X80 系列率先搭载的臻彩还原引擎中的智能 AWB 技术,通过将训练集拓展至原来的 4 倍,使得白平衡的准确度提升 8%,在冷暖反差明显的场景中有更好的表现;
- 同样在 vivo X80 系列中推出的智能白加黑减技术,也是通过将 AE 训练集扩展至原有的 5.5 倍,针对展览馆陈列的艺术品、室内灯光的浅色家具等痛点场景做影调优化,使得曝光准确性提升 14%;
- vivo 自研的光学超分算法通过对镜头的缺陷进行建模分析,恢复了潜望摄像头 35% 损失信息。以此为基础耦合各个模块并经过 1 亿多次场景训练,将算法深度运算能力提升 10 倍,构建全新的超清画质引擎。配合下一代的长焦硬件升级,超清画质引擎在 5X 以上焦段理论最高可提升 64% 的拍摄解析力;
- 全面 AI 升级的苍穹夜景系统基于百万夜景照片训练出三个全新模型。超感光模型的感光能力最大提升 100%,ISO 最高可支持 102400。全分割语义模式和臻彩影调模型联合,实现了自适应影调和色彩调节能力,全面提升影调和画质;
更好的自动白平衡、更准确的自动曝光、长焦解析力更强,还有更好用的夜景拍摄体验和呈现,持续积累经验使得 vivo 的影像算法有更好的表现。同样可以看到,vivo 的影像算法是全面发展。
早在 2015, vivo X5 Pro 的知性美颜算法可以说开启 vivo 的人像之路。到 vivo X30 Pro 首次配置等效 50mm 焦距的专业人像镜头,vivo 对人像开始系统性探索。再到与蔡司展开多年的深度合作,完全可以说现在的 vivo 对于人像的理解达到了一个新高度,更是不同于行业惯性思维的新方向。
得益在新一代自研影像算法、新一代传感器以及新一代算法的帮助,vivo 超感人像系统的三个模块,也就是人像理解、人像美化和人像氛围都会有更好的表现。
人像理解是分析人脸语义重点和轮廓细节,同时对皮肤、手势、字体关键点进行检测。以此为基础,人像美化将会以微米级进行细节美化。人像氛围则是在影调、色彩、亮度、虚化等层面上,将人与场景进行融合处理,实现和谐、自然的效果。
说到虚化,vivo 与蔡司合作后推出的蔡司镜头包,也就是通过手机即可还原多种经典蔡司镜头的虚拟效果,绝对是令人记忆深刻的。而在下一代产品中,vivo 将与蔡司联合设计研发全新的 50mm 人像镜头,并且探索更多人像镜头的可能性。
既然是探索可能性,那么在传统相机领域已经是公认的人像环境焦段 85mm,甚至是模拟 STF 柔和散焦的效果等,都会是可能性。
说到这,我已经不想演了,既是因为 vivo 影像战略发布会的信息量大且多。可更关键的,是我们能够从中拼凑出 vivo 即将发布的下一代旗舰机型的影像能力,显然:
- 主摄采用自研 VCS 仿生光谱技术、更大的传感器,提升感光性能;
- 长焦摄像头将会有明显的硬件升级,支持 5X 或更高倍率的长焦;
- 联合蔡司设计全新的 50mm 人像镜头,更好的虚化和更好的人像;
- 配备新一代自研影像芯片,AI-ISP 架构有着革命性性能表现;
- 更进一步的智能 AWB 技术、智能白加黑减技术、光学超分算法、苍穹夜景系统、超感人像系统,让随手拍的效果更进一步;
毫无疑问,vivo 这款还没有名字的下一代旗舰机型,我们却都知道其在影像方面的技术以及硬件配置有着十足诚意,让我尤为期待。
同样让我尤为期待的,是 vivo 在影像这条赛道的持续积累经验和持续技术探索,融会贯通至旗下的所有产品中,在今天已经构建了属于自己的技术壁垒和深度。
正如 vivo 高级副总裁,首席营销官倪旭东所说,影像是 vivo 将长期坚持的赛道。他认为,“拍照可能需要很长的路径,因为它是既需要软件又需要硬件的一个结合,而且手机对于拍照的技术路径也好,实际消费者体验需求也好,是非常长期的一个诉求。”
vivo 也确实是将影像作为长期坚持的赛道。无论是早在 2015 年的 vivo X5 Pro 做人像的开端,在 2019 年就开始投入研发的自研影像芯片,或者是 2020 年与蔡司达成的深度合作,更是有逐渐深入定制的 IMX766V、IMX866 RGBW 作为见证。
vivo 以自己多年持续积累的经验,持续推进技术探索,更是确保影像技术的研发进度以及切实落地,vivo 在影像这条赛道上越跑越远,也越跑越快。
4000520066 欢迎批评指正
All Rights Reserved 新浪公司 版权所有