11 月 15 日，2022 骁龙峰会在夏威夷举办。官方在介绍第二代骁龙8 移动平台时，特意提到了认知 ISP（Cognitive-ISP）。在大众对手机摄像头要求越来越高的时代，如果要讨论智能手机的影像技术，ISP 是一个无法绕过的话题。
ISP 撬动智能手机影像技术的进步
那么，什么是认知 ISP？根据官方的介绍，认知 ISP 是一套提升手机影像性能的技术。凭借首个认知 ISP，第二代骁龙8 通过实时语义分割实现照片和视频的自动增强，利用 AI 神经网络让摄像头在情境中感知人脸、面部特征、头发、衣服和天空等，进行独立优化，从而让每个细节获得定制的专业图像调优。
通俗的说，在此之前，智能手机并不能完全识别出现在摄像头中的物体细节，对人脸优化也是整体优化。而现在，借助 AI 技术，智能手机可以精准识别并且单独对每一个部分进行优化，从而大大提升了用户的影像体验。
“双摄时代”、HDR 录制和慢动作视频，都与 ISP 进步有关
其实在认知 ISP 发布之前，历代骁龙移动平台集成的 ISP 便已经引领了移动影像多年。可以这样说，智能手机影像技术的每一次飞跃，都伴随着骁龙移动平台在 ISP 技术上的突破。如今，在 AI 的帮助下，智能手机正在快速接近专业级相机的性能。
其实骁龙平台很早就已经集成了“双 ISP”，此后高像素、2PD 对焦、4K 视频/HDR 视频拍摄逐渐实现。2016 年，骁龙835 平台配置了 Spectra 180 ISP，其最高支持两颗 1600 万像素摄像头，还能大幅度提高拍照和图像处理速度，是当时行业最强的 ISP 能力，手机也进入了“双摄时代”。
至此，手机摄影才具备了现在的雏形。
2017 年 12 月，骁龙技术峰会上发布的骁龙845 移动平台集成了全新 Spectra 280 ISP。当时，集成 Spectra ISP 的骁龙移动平台支持超过 10 亿种色调的 10 位色深，并实现了运动补偿、时间滤波（MCTF）和电子图像稳定（EIS）。
在今天看起来那些已经普及的影像功能，诸如慢动作视频、HDR 录制和高速性能捕捉（high-speed performance capture），都因为 Spectra ISP 而成为可能。这一代 Spectra ISP 上还集成了一个基于视差的深度感应系统，其工作原理与人眼非常相似，可以从双镜头视角判断物体的相对距离。
这些技术大幅提高了智能手机影像体验。
2018 年发布 CV-ISP，按「帧」优化时代到来
2018 年，ISP 技术迎来重磅升级。骁龙855 带来了全新 Spectra 380 ISP，这是全球首款计算机视觉（CV）ISP，在计算摄影和相机 AI 方面实现了巨大飞跃。
Spectra 380 消除了图像处理管道中的瓶颈，并通过直接在 ISP 本身执行机器视觉处理，从而比前几代产品节省高达 4 倍的功耗，并通过与 AI 引擎配合，大幅提升了 AI 处理能力。
对于普通用户而言，其体验提升是巨大的。Spectra 380 增加了对全 HDR10+ 视频录制的支持，使得录制具有更大动态范围和更宽色彩空间的视频成为可能，以充分利用现代手机和电视的功能。此外，它将能够处理更高分辨率的成像，其双 14 位 CV-ISP 管道支持双摄像头的 22MP 30Hz 并发捕获，以及单个图像传感器的 48MP 30Hz 捕获。
这一代 ISP，让智能手机具备了计算机视觉（CV）能力，照片和视频的优化可以具体到每一帧。通过集成大量支持硬件加速的计算机视觉能力，与高通 AI 引擎相结合，带来了手机影像能力的再一次突破。
虽然 ISP 技术已经把智能手机影像技术提高到了一个新高度，但这一代产品仍然在某些方面无法替代人的作用。比如在拍夜景照片时候，ISP 可以一次性拍摄多张照片然后极速合成，其对照片的优化是整体、全面优化。然而在真实世界里，摄影师修图是根据不同的画面部分来修饰，比如天空、人脸、眼睛、一棵树，甚至一片叶子。
这一次，2022 年发布的认知 ISP，终于借助更强大的 AI 技术解决了这个难题——对每一个部分进行单独优化。
认知 ISP：让 AI“精修”影像
骁龙8 的三核 18-bit ISP 可同时处理三个 3600 万像素的摄像头 30fps 数据，对单个摄像头的像素支持最高可达 2 亿，同时支持快门滞后为零的 108MP 的传感器。
再结合认知 ISP 的照片、视频实时语义分割技术，智能手机影像体验将被推到新高度。虽然智能手机不具备单反相机那样的超大 CMOS，但 AI 技术的使用让智能手机已经可以拍摄专业级的影像了。
那么，什么叫实时语义分割？
ISP 使用 Hexagon 处理器内部的 AI 神经网络在场景中分离出多达八个层，然后单独处理这些层中的每一层以更好地微调整体图像质量。这允许图像处理管道独立地对场景的各个层应用不同级别的降噪、锐化和色彩校正，例如个人面孔、面部特征、头发、衣服、天空等，甚至可以去除眼镜上的眩光。
以上整个过程都是实时发生的。所谓“实时”，就是在拍摄过程中即时发生，拍摄完成的画面和预览效果保持一致。极短时间可以处理如此复杂的计算，也彰显了认知 ISP 极高的运算效率。
高通表示，认知 ISP 有助于使 Snapdragon Sight 骁龙影像技术开启专业品质相机体验的新时代，提供突破性、定制化、专业级的品质增强技术。
那么，认知 ISP 是如何做到的？
高通产品管理副总裁（Vice President of Product Management）Judd Heape 在示例中对此做了解释。在视频模式下，第二代骁龙8 对每一层的优化都应用了单独的调优参数，所有这些都是凭借全新 AI 引擎中升级的 Hexagon 处理器完成的。
第二代骁龙8 也针对新的图像传感器进行了更深度调整。三星 ISOCELL HP3 是首款针对该平台优化的 2 亿像素图像传感器，可提供专业品质的照片和视频。
在 2021 年 12 月高通发布第一代骁龙8 移动平台时，曾透露它正在与索尼建立合作伙伴关系。一年后的现在，高通与索尼分享了其最新的劳动成果。第二代骁龙8 支持新的四重曝光技术，该技术将充分利用索尼的新四重曝光数字重叠 (QDOL) 传感器，这使得其可以获得更大的动态范围。QDOL4 技术使视频和照片能够将光线最暗处和最亮处的细节呈现在同一画面上。
有的用户会有疑虑，认知 ISP 如此大的运算量，会不会让第二代骁龙8 成为耗电大户？
然而借助 AI，骁龙8 的 AI 能效和整体能效均得到了改善。首先，用于处理情境感知任务的 AI 处理器增加到两颗，识别效率和运算速度加倍。第二，Hexagon 处理器采用了一个更大的张量加速器，带来了部分场景下高达 4.35 倍的 AI 性能提升；支持 INT4 AI 精度格式，在持续 AI 推理方面能够实现 60% 的能效提升。
综合来看，第二代骁龙8 的 CPU 性能提升了 35%，能效提升了 40%。而且，Hexagon 处理器和 ISP 之间增加了名为“Hexagon 直连”的物理连接，也就是 ISP 可以直接调用芯片的 AI 能力，这样以便于提供更加强大的影像 AI 运算支持。图形计算的处理上都能在 ISP 内部完成，让 AI 在影像中的运算效率大幅提高。
期待智能手机影像新体验
首个双 ISP 把手机带进了“双摄时代”；首款 CV-ISP 让手机具备了“计算机视觉”功能……骁龙移动平台的每一代 ISP，都推动了手机影像功能的持续进步。
如今 ISP 已经成为智能手机的标配，而第二代骁龙8 移动平台发布后，包括华硕 ROG、荣耀、iQOO、Motorola、努比亚、一加、OPPO、红魔、夏普、索尼、vivo、Xiaomi、Redmi、星纪时代/魅族和中兴在内的全球众多 OEM 厂商和品牌将采用第二代骁龙8 移动平台，认知 ISP 有望为众多智能手机带来全新的影像体验。
