手机影像的未来在哪?OPPO走了一条冒险之路,自研才是解题关键

手机影像的未来在哪?OPPO走了一条冒险之路,自研才是解题关键
2022年02月24日 21:15 平行科技PARALLEL

自2000年世界上第一款能够摄像的手机诞生那一刻起,手机影像受到的关注就只多不少。诞生之初,手机影像只为便携与记录而生,成像要求也并不高。但随着时间的推移,如今手机影像承载着手机厂商最大的野心之一,对手机影像的期许也逐步被拉高,画质要足够清晰、色彩要足够真实,甚至要向传统相机看齐,满足一些专业需求,而这一切,需要在那一方不足手机后盖四分之一的空间内实现。

(夏普J-SH04:第一台拥有后置相机的手机)

于是,手机厂商们绞尽脑汁,在这小小的空间内塞进了各种镜头、传感器、算法,关于手机的影像也越来越晦涩难懂。你随手一按的拍摄与录制按键背后,如今的手机又是如何将你记录的影像呈现到你的面前呢?在镜头、算法、传感器等堆到顶之后,手机影像的下一个突破口又在哪?未来又会朝着什么样的方向发展?这些都需要手机厂商们去探索,去冒险,去寻找答案。

智能手机的成像原理及影像算法

一般来说,智能手机影像模块主要由镜头、图像传感器、ISP图像信号处理芯片等元器件组成。工作原理大致为:拍摄的景物通过镜头生成光学图像,并投射到传感器上,然后被转换成电信号,再经过模数转换变为数字信号,数字信号经过ISP加工处理,然后被传送到手机处理器中进行处理,最后转换成图像内容在屏幕上显示。如今的手机影像都需经过ISP处理,而这其中的算法也将影响最终的成像质量,从某种意义上来说,如今你见到的每一张手机影像都是「计算摄影」的结果。

(智能手机摄像头工作原理)

受限于手机内部空间结构,单从提供更大尺寸感光元件来提升拍摄效果的方法在现阶段已然逼近极限,边际递减效应正在显现,于是在硬件的基础上,算法也就是所谓的计算摄影,逐渐成为厂商眼中强有力的补足手段。最为常规的做法自然是自费购入套用第三方影像算法。例如在人像模式刚火起来的时候,不少厂商都采用了虹软算法,再根据自身需求进行调校。

(早期,手机厂商大多以自费购入套用虹软影像算法为主)

如果不选择购入第三方影像算法,厂商也可以考虑砸钱搞自研,前提是腰包够鼓,能人够多,当然,自研路线坎坷的同时也伴随着巨大的回报,影像上的技术优势对于厂商而言无异于销量与口碑的双重保障。

(自研投资大,周期长,烧钱几乎是必然)

实际上,明眼人都看得出来,想要打造技术壁垒,第三方总归是靠不住的,自研几乎是大厂「升仙」的必经之路。近年来国产手机厂商们开始发力自研影像算法、自研影像芯片的新闻不绝于耳。在刚刚发布的OPPO Find X5 Pro上,OPPO就塞入了一块专用于影像的芯片——马里亚纳X芯片,实现了AI计算能效、Ultra HDR、实时RAW计算、RGBW Pro四大影像技术突破。

诞生于2022年的OPPO Find X5 Pro并不像他在2000年诞生的老前辈一样,仅仅考虑如何提升传感器体积,而是转向利用芯片算力,力推计算摄影。在芯片语境下,手机影像的成像原理,又有了新的微妙变化。

自研3A算法的加持,达成影像第一步优势

马里亚纳X介入影像的第一步,在3A算法。

3A算法,即AWB(自动白平衡)、AE(自动曝光)与AF(自动对焦)。在计算摄影加持下,每次当你看下拍摄键,手机都会自动调节参数,捕获镜头前的画面。而基于自研芯片的加持,3A算法也拥有更为灵活的调校空间,OPPO放弃主处理器自带算法,选择了重构了底层的3A算法。品牌利用自研芯片对3A算法进行调校,相比其他只拥有主处理器自带算法的机器,拥有更高自由度,做到定制化的匹配。

(OPPO Find X5系列新机采用自研的底层3A算法)

而在处理视频时,自研3A算法的介入能够根据所获取的原始数据,有效地细分物体色彩配比;同时可以更好地控制住高光和对比度,大幅优化色差的问题。包括OPPO Find X5 Pro身上的定制光谱传感器,通过自研的3A算法加持,也能在一些纯色或大面积混淆色的情况下,提取光亮处的白点信息作为参考值,以带来更准确的还原,从而发挥出最大潜力。

注重自研影像NPU,在计算摄影层面弯道超车

当然,光有单一的自研3A算法,还不够撑起OPPO乃至新一代影像手机在计算摄影上的野心。OPPO Find X5 Pro上的马里亚纳X,是在DSA新黄金架构理念和6nm先进工艺制程下的一枚专攻于影像的NPU,这让它有能力从本就已经负担沉重且非专用于影像的中央处理器手中揽下影像的活自己干,图像的处理如今拥有了专芯专用的芯片。

(马里亚纳X通过AI处理单元完成图形运算)

凭借着马里亚纳X在计算影像领域实现了全链路的垂直整合,包括芯片和自研算法的整合,芯片和通用平台的整合、以及芯片和深度定制传感器的整合,能够完全服务于OPPO定制化的计算影像需求。另外,高达18 TOPS的AI算力和11.6 TOPS/W的能效比,也让OPPO Find X5 Pro可以针对多个场景,迅速地作出影像运算。

(马里亚纳X的影像性能表现)

值得一提的是,马里亚纳X所支持的最高20bit处理位宽,还能够实现惊人的20bit Ultra HDR,光暗处的对比极值更能达到100万比1。譬如在Ultra HDR动态范围里,内部的融合算法会让图形处理单元在前端运行,以保证最终画面的成像效果可以做到清晰且自然。反观无影像NPU加持的手机,内置的算法通常在将图像在YUV域固化为有损处理,这使得图像在最终输出时,将不可避免地出现多噪点和细节丢失的现象。

而相比于传统计算影像有损后处理的方式,RAW域才是计算影像的黄金点。马里亚纳X打破常规将先进的AI算法以及20bit RAW的计算都融入RAW域之中,让AI计算不再受限于信息量的损耗,能够为整个影像链路输出高质量的图像数据。与传统后端计算相比,马里亚纳X的实时RAW计算能够带来8dB的信噪比提升。简而言之,马里亚纳X影像NPU的加持,是切实能让用户在用OPPO Find X5 Pro进行拍摄时,可以得到不输专业摄影师水准的高质量视频。

(马里亚纳X的全新影像计算模式)

尤其在影像处理方面,马里亚纳X的20bit实时RAW计算和RGBW Pro模式,都能让AI计算不受限于信息量的损耗,为整个影像链路输出高质量的图像数据。同时,通过双通路设计,马里亚纳X还实现了对RGB和W的分隔处理,以便于释放RGBW阵列的全部性能。另外,马里亚纳X还会调用OPPO自研的3A算法,以作出对复杂场景下的RGBW感光图形运算。

Find X5 Pro影像原理样张解析

说得太多原理和技术上的东西,可能也很难让大家真正感受到这次OPPO Find X5 Pro影像上的优势之处,那么接下来我们就通过「实战」让大家有一个更深的了解。

上面提到马里亚纳X能让OPPO Find X5 Pro实现20bit Ultra HDR超级动态范围,具体的表现其实就是在拍大光比场景时,普通手机一般只能在高亮细节或暗处细节之间二选一,而持有马里亚纳X和自研3A算法的OPPO Find X5 Pro,则可以「任性」一点,两者都要。

平台3A算法与OPPO自研3A算法样张对比

(其他品牌手机的3A算法样张(左)OPPO Find X5 Pro的3A算法样张(右))

自研底层的3A算法所带来的实际优势则表现在曝光度调整和色调还原上,配合13通道光谱传感器,能最大限度发挥硬件的水平。为此,我们特意找了一个光景居多的场景来测试一下。

以实际对照的第一组样张来看,在有多重环境光的室内店铺里,其他品牌手机直出的样张显示,平台化3A算法会将本该呈现的黄色作为参考值进行捕捉,并用偏冷色调的白平衡机制进行补救,而结果也显而易见:店铺上方的灯光色调呈现白光,这与原本真实的黄色灯光大相径庭。不难发现,平台化3A算法时至今日仍有不小的调优空间。

反观OPPO Find X5 Pro直出的样张,得益于自研3A算法中的AWB(自动白平衡),可以精准识别出样张主色调,并完成主辅色的有效区分,不仅使店铺室内的灯光色调与人眼所见一致,就连右上方的天花吊顶,在AE(自动曝光)的调优下也变得明亮起来,但却不会失真;同时,位于货架上的玩偶色彩还原度也很高,且在玩偶间隙处应该曝光的地方,也得到算法中AE(自动曝光)的精准捕获,并加以完善修补。最终,样张呈现的效果也就与人眼无异。可见,OPPO自研3A算法的优势在这些细节之处就显得尤为明显了。

(其他品牌手机的3A算法样张(左)OPPO Find X5 Pro的3A算法样张(右))

而在第二组样张里我们可以看到,用其他品牌手机拍得的室外照片,尽管在拍摄过程中,该样张也有3A算法介入,但在AWB(自动白平衡)的环节上,可以明显感知没有自研3A算法更加放得开。整体观感有种雾蒙蒙的感觉;虽然像麦当劳招牌图案的边缘细节得到保留,但天空欠曝部分与大理石墙壁的冷色调,还是使得该样张的质量算不上优秀水准。当然,平台化3A算法在该样张里的调优程度也并不算高。

其次,我们看到OPPO Find X5 Pro的实拍样张,天空细节相较于其他品牌手机的样张表现,则显得有略微的涂抹痕迹,但所幸不算太明显。另外,自研3A算法也是将AF(自动对焦)的焦点,集中到麦当劳照片与天花吊顶的衔接处,这使得右侧大理石墙壁上「广永丽都」字体的色调能够保持高度还原,而墙壁的反光和楼宇倒影相较于前者的样张,也更加清晰。这也是一般平台化3A算法所无法比拟的。由此我们可以得知,自研3A算法相较于一般平台集成3A算法,有着更加完善的样张调优空间。这也正解释了,为什么OPPO坚持选择打造自研底层的3A算法。

马里亚纳X整合自研3A算法的视频分析

(OPPO Find X5 Pro样张写实不失真)

除了在样张表现方面,OPPO Find X5 Pro可以凭借自研3A算法更胜一筹以外,透过夜景视频的拍摄,我们也可以发现,马里亚纳X加持下的3A算法,让OPPO Find X5 Pro拍摄的视频画面所包含的亮度信息,变得更加丰富,不容易形成死黑和死白。

下面由OPPO Find X5 Pro拍的这段视频,就可以看到背景灯牌高亮部分的表现力明显很到位,内置的AWB(自动白平衡)把高光压制了下来,给人一种清晰纯净的感觉,就像真的是身临其境用肉眼直接观看光源一样,不会出现过曝、灯光糊成一团的情况。倘若换成一般的使用平台3A算法的手机,在拍摄同样的视频画面时,极有可能会出现光线重叠和光斑重影的现象,甚至连基本的边缘细节无法得到清晰保留。

同时在暗处,OPPO Find X5 Pro还可以把人脸拍得清晰,不会出现死黑,等于原本会过曝和欠曝的地方都被AE(自动曝光)的调校输出最优峰值给「救」了回来,使得呈现在人物脸上的色调不会出现背景板的蓝紫色。不过,若是采用平台化3A算法的手机,画面中的小哥哥就变成「晒黑」的模样了。

(OPPO Find X5 Pro夜景实拍视频)

(上:OPPO Find X5 Pro,下:其它手机夜景实拍视频截图)

马里亚纳X把复杂的计算前置在RAW域,除了带来极致的视频画质之外,还让OPPO Find X5 Pro在第三方软件上拍视频时,拥有媲美系统相机的画质。下面是我们分别用OPPO Find X5 Pro系统相机和抖音APP里的相机拍出来的视频,大家可以清楚看到,两个视频的整体画质没有太大的差别,对于高光和暗处的处理都很到位,可以说是基本一致的体验。

(OPPO Find X5 Pro实拍视频)

(OPPO Find X5 Pro实拍视频截图)

拍纯色背景的情况在日常生活中可能不太常见,所以我们也再找了室内的场景进行测试。众所周知,室内场景受不同色温的灯光影响,白色物体往往会随着灯光的色温不同而变色,只不过我们人眼具备白平衡调节功能,才能还原白色物体。而手机要做到的就是用算法与调校尽可以做到接近人眼的白平衡效果。从具体的表现来看,OPPO Find X5 Pro在室内复杂的灯光环境下,依旧可以将白色纸张的颜色精准还原,几乎没有受光线色温的影响,拍出了接近人眼所见的纯白色彩。

属于计算摄影的新态势

经过二十余年的演变,智能手机的影像演变早已天翻地覆,成像原理愈发复杂的背后,手机的成像质量也在不断提升。OPPO Find X5 Pro的计算摄影道路,实际上是属于手机影像的整体态势,尽管自研困难重重且十分冒险,但也的确是手机影像得以四两拨千斤的制胜法宝。

可以预见的是,在OPPO Find X5 Pro之后,自研与计算摄影的趋势预计也将会成为整个手机行业的主流,品牌需要自研技术来打造自己的护城河,用户也需要同样的东西来获得更好的体验,我们也会持续观望,看看手机成像还能带来多少「新活」,能否向传统相机看齐,挑战更专业的拍摄需求?拭目以待。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部