其实本来想用另一个比喻的：噪点就好比🐱💩 ，堆栈就好比🐱骑在扫地机器人身上拉💩 ，结果💩被扫地机器人🧹匀了。但是说出来又感觉有点🤮，所以这段还是掐了憋播……
多帧堆栈的进化版，就是前两年大家卷到起飞的超级夜景。还是以谷歌为例，它的NightSight算法，在手持的情况下是连拍15张，曝光最长15分之一秒的照片。如果有三脚架，那么最高是给到6张1秒钟的长曝光。然后一样是对齐、合成、后处理，最后吐给你一张马上就可以发朋友圈打卡的超级夜景。
HDR+刚推出的时候，只是一个可选的特殊模式。到今天，苹果的Deep Fusion，华为的XD Fusion这些带多帧合成的拍照算法，已经是默认标配了。
当然了，“合成”听着多少有那么点造假的意思。现在大家都管这个叫：“融合”。
而且顺带一提，Pixel系列不光是最早采用计算摄影技术的手机，2代开始引入的Pixel Visual Core，也是手机上最早的独立影像芯片。再看看今年的澎湃C1和vivo V1，说Pixel引领了安卓手机的计算摄影技术，应该是绝不夸张的。
所以，堆栈就是计算摄影的真相吗？
是……也不是。至少不完全是。
首先是，还有其他提高画质的手段。
堆栈虽好，也不是万能灵药。因为快速移动的物体很容易被拍糊，拍风景可能比较灵，猫就不一定了。而且堆栈的降噪buff对非随机噪声来说是无效的。即便不考虑这些，成片每提升一档信噪比，需要的堆栈张数也将是指数级的增长。
所以更靠谱也更流行的方案还是软硬件结合。比如小米10至尊版搭载的OV48C传感器。它的单帧逐行HDR技术，不光大幅缩短了长短曝光帧之间的时间差，还可以直接在硬件上做完HDR合成，减少了照片鬼影和等待时间。
华为前几代采用的RYYB传感器，则是通过前期更大的传感器和更多的进光量，直接吃到更多信息，大大减轻了堆栈压力。
还有一些机器选择用多摄像头解决问题，比如S21 Ultra和荣耀Magic 3 Pro的多摄融合。这种技术就如同古画装裱里的挖补手法，会把主摄的高质量图像，融合到其它镜头的照片里。
再就是华为在P50上文艺复兴的，黑白+彩色方案。黑白镜头的细节比彩色镜头更好，而视网膜上视锥细胞和视杆细胞的比例，又决定了人眼恰好是对亮度比色度更敏感。所以这种照片的细节质量，是黑白镜头决定的。就算彩色照片糊一点也没关系。
其实为了给你省流量，你正在看的这个视频，也用了同样的方法压缩体积。这被称为色度抽样，怎么样，是不是根本没发现？
另一股不能忽视的势力是AI。比如18年这篇英特尔实验室和UIUC的论文，就直接把同一个场景下的高糊照片和长曝光照片，一起喂给了神经网络算法。然后就可以用一张黢黑黢黑的照片，丢给AI去处理，脑补出它长曝光的样子。
这么先进的东西，本来应该给大家演示一下的。但是呢……AI炼丹需要显卡，而我们那张樱瞳花嫁已经还了。
诶，也不知道我老婆现在在哪个矿场上干活，散热好不好😟显存烫不烫😭
其实利用AI增强图像质量的地方还有很多。比如Pixel就用到了机器学习，来解决自动光和夜景模式下的白平衡问题。至于大名鼎鼎的月亮模式，那就介入的更深一层。
其实小米新的civi是特别好的一个例子。它在美颜模式下，会让训练好的AI，去填充照片中人脸部分的皮肤细节。可以说拍出来的是真人，但也不完全是真人。难能可贵的是他们大大方方的，直接把GAN图像生成网络这个概念，在发布会上介绍了一遍。
虽然多数用户应该都听不懂，但它保障了用户的知情权，整挺好。
总之，手机拍照这事儿，当然要靠硬件的奋斗，但是也要考虑到算法的进程。为了从这指甲盖大小的传感器里再多抠一点画质出来，各路大牛可以说是，八仙过海，各显神通。而这一整套复杂的图像处理流程，在手机上全都自动化了。你要做的只有一件事：
按下快门，拿稳手机。
等一等，还记得这期视频的开头吗？计算摄影的本质，是手机用算法和有限的硬件，去模拟大底大镜头的专业相机。现在传感器整的差不多了，接下来，该轮到镜头了。
针对镜头的计算摄影尝试，开始的也很早，但是方向不太一样。它不是提升画质，而是瞄准了手机和相机拍照上最明显的差异，虚化。
本来这也是手机拍照的一大硬缺陷：传感器太小，镜头焦距也小，导致基本上没什么景深效果。但是，尺寸不够，咱可以算法来凑。景深效果无非是指定一个清晰成像的距离区间，如果能获取照片中各个元素跟镜头之间的距离关系，不就可以想怎么虚就怎么虚了吗？
最早也最普遍的手机人像模式，采用的是双目测距法。首先分割图像，识别出画面中不同的物体。接着利用同一个物体，在两个传感器画面间的视差，和已知的镜头间距，来解个相似三角形。诶，就得到了它和镜头之间的距离关系。
兄弟萌，把“懂了”，打在公屏上。
这个方法的问题在于，它的测距不是对像素，而是对“特征块”进行的，所以很多细小的东西直接就被忽略了。而且当时的图像分割技术也比较菜，特别是我们爱好自拍的镁少铝，经常就发现自己头发少了一撮，耳朵下面漏了一块。
但它最大的缺陷还是晚上拍不了。因为暗光环境下，背景特征很难匹配，自然算不出距离。所以绝大多数手机的人像模式，只能白天用。直到iPhone 12开始，用后置激光雷达主动获取深度信息，手机才有了靠谱的夜景人像。
当然AI算法这两年也在不断进化。iPhone XR和2020款的iPhoen SE，甚至可以在只有单摄的情况下，通过AI分辨图片中的元素和景深关系，生成一张模拟的深度图。从而用一颗iPhone 8的老镜头，做出了曾经Plus机型才有的人像模式。
这，就是机器学习的魔力。
除了获取深度，正确模拟镜头的光斑特性也很重要，否则就不是虚化而是打码了。这里我们要稍微引入一点新概念：照片中的模糊，可以看成是无数个清晰的点，经过镜头模糊后，再叠加的结果。知道了不同深度下单个点经过镜头之后的模糊样式，就能模拟出一个很像真货的光学模糊了。
这个光斑也称为“模糊核”，记住这个概念，我们待会儿还会说到它。
计算焦外用的模糊核，一般手机都按圆的处理，但也有不是圆的。比如MIUI就可以在相册编辑里，做出星形或者是心形的光斑。
如果用心一点呢，还可以像真实镜头那样，在照片的不同位置套用不同的模糊核。甚至是直接去测一个真实存在的镜头，再套给手机，去模仿这个镜头的风格。这就是vivo X70Pro+的蔡司焦外。用最现代的手段，做最复古的德味。
不过要说这套东西的究极形态，那还得是iPhone 13系列的电影效果。它把人像模式这套东西扩展到了视频身上，判断特征、识别深度并保存、再按照你设置的参数模拟虚化。
不同的是它更主动，录制过程中AI会判断现在这个画面里，观众最有可能集中注意力的位置。也就是所谓的“兴趣点”，然后让画面焦点随着兴趣点自动转换。
好用吗？老实说，还有局限性。因为双目测距法自身的缺陷，它在昏暗环境下工作的就不太好。而且受限于手机的性能，只给了1080p30帧。
但是这个模式更多的意义在于它做了什么，而不是它做的有多好。用镜头感知三维世界，用AI预测画面兴趣点，这些技术不光能用来打造电影模式，也是未来AR产品的基石。从激光雷达到电影模式，苹果谋划中的下一个10年，正在你的iPhone之中，缓缓浮现。
扯远了，还是说回拍照。
手机传感器的小体积，导致对镜头素质的要求也相对宽松。可逃课总有要补考的那天，随着拍照竞争的不断加剧，现在的旗舰机早就卷到了200g朝上，4摄起步的程度。逐渐逼近1英寸的大底主摄，也对镜头质量提出了越来越高的要求。软件算法能不能像当年拯救传感器一样，拯救手机镜头的画质呢？
这就是华为P50 Pro带来的最大突破：计算光学。
不严谨地说，计算光学，就是反过来的“人像虚化”：还记得刚才说过的“模糊核”吗？人像模式是已知清晰图像和模糊核，把背景算模糊。而计算光学是逆练九阴真经。已知模糊图像和对应的模糊核，把糊了的图，反向算回去。这被称为“非盲反卷积”，跟堆栈一样，之前都是天文观测这种特殊领域才会用的特殊办法。这套操作，就是计算光学的真面目。
当然实际情况肯定不会是加减乘除这么简单，因为真实世界里的照片是有噪声的。真实世界的镜头在画面的不同部分，造成的模糊核也是不同的。要在手机上“把镜头造成的一部分光学损失算回来”，要么得保证极高的装配精度，让每台手机的模糊核特征都保持一致。要么对手机做逐批次甚至逐台标定，获取准确的模糊核，再代入到计算光学的算法当中。这也是这个功能无法通过OTA更新给老机型的原因。
当然华为这个计算光学……逆练九阴真经的还不止一处：正常情况下，这招是用来提升现有镜头分辨率的，搭配的镜头不说更好，起码也是不变。华为却用在了一个原生只有3.5倍的潜望长焦身上，硬是靠计算光学拉回来的高频细节，撑住了3.5x到10x之间的数码放大。搁别家身上我们可能会怀疑它是要省成本，而华为……也不排除是被迫。
所以说，高情商计算摄影，低情商自动P图。对手机来说，计算摄影就像修真模拟器里的筑基丹。是用性能和算法上的长处，去弥补传感器尺寸和镜头素质的先天不足。并且降低了使用门槛，让普通人随手一拍，就能拍出不错的效果。
最后我们找来了以计算摄影闻名的Pixel 4a、1英寸大底的传统选手松下CM1、以及今年的拍照三巨头：iPhone 13 Pro、vivo X70 Pro+、以及华为P50 Pro，拍了一些样片。大家可以直观感受一下，计算摄影和硬件的配合，为手机摄影带来的巨大进步。
实际上按照《计算摄影学基础》这本书的内容，自动白平衡、自动对焦算法这些，也是计算摄影的一部分。数码时代以来的一切摄影，某种程度上说，都是计算摄影的产物。
但是，各种算法特别是AI的介入，带来了一个新的困惑：自诞生以来，摄影始终占据着一种，介乎于纪实和艺术之间的独特地位。正所谓有图有真相，我们一般默认，照片呈现出来的，就是某种程度上的现实。可随着了解的深入，算法和AI越来越动摇了这一点。记录和创作，拍照和P图之间的界限，也越来越模糊。
AI介入下的计算摄影，究竟是记录了现实，还是创造了新的现实呢？
