10月14日，字节跳动旗下火山引擎多媒体实验室宣布针对屏幕内容视频研发出编解码器BVC1S。在远程协作、虚拟桌面、云游戏等屏幕内容视频编码场景下，BVC1S相较业界主流的X265开源编码器可节省85.3%的码率，编码速度提升2.87倍。
屏幕内容视频来自于计算机的屏幕渲染，主要由文字、图形和图片组成。相比于摄像机采集的自然视频，屏幕内容视频有很多不同的特性，比如没有采集噪声、文字区域颜色单一，以及变化锐利等。充分利用屏幕内容视频特性而开发的编码工具，往往可以获得比传统视频编码工具更高的性能。视频编码标准化组织也意识到屏幕内容视频的重要性，推出了针对屏幕内容视频的扩展标准。
火山引擎多媒体实验室一直致力于新一代视频编解码标准的制定，以及视频编解码技术的推广应用，在屏幕内容视频编解码领域有多年的技术积累。其针对屏幕内容视频开发的BVC1S编解码器，采纳了私有的编解码协议，对桌面和移动平台做了深层次的优化，能灵活地挖掘屏幕内容视频的编码效率，具有高码率、编码速度快、极低带宽下用户体验好等优点。
在同等PSNR客观质量下，与开源H.265编码器X265的码率相比，BVC1S可以节省85.3%的码率。
图1：BVC1S与X265码率测试（数值越小越好）在同等PSNR客观质量下，BVC1S的编码速度（Frames Per Second, FPS）较X265提升2.87倍。
图2：BVC1S与X265编码速度测试（数值越大越好）除了考虑编码效率和编码速度，屏幕内容编码器在低延时应用下如何和网络传输的Qos相结合，也尤为重要。基于这样的考虑，BVC1S提供了内容自适应的码率控制，在保障桌面内容质量的前提下，避免对网络产生大的冲击进而导致网络拥塞。
图3：传统bicubic方法上采样结果
图4：BVC1S增强的效果保障极低带宽下的用户体验上，BVC1S会自动调整编码分辨率来适应极低网络带宽，而后在接收端采用针对屏幕内容视频的超分算法，来还原原分辨率的屏幕内容视频。图3是采用传统bicubic方法上采样结果，图4是通过BVC1S增强的效果，清晰度有显著的增强。
图5：BVC1S引入智能参考帧管理技术当接收端出现网络丢包，视频编码器需要提供恢复帧来帮助接收端进行错误恢复。为了避免IDR（Instantaneous Decoder Refresh）进行错误恢复带来的网络冲击风险，BVC1S还引入了智能参考帧管理技术，让编码器和解码器的参考帧队列实时同步。如图5，绿色是正确收到的图像，红色是丢包导致不能解码的错误图像，黄色是因为参考帧丢失而不能正确解码的图像，通过动态调整编码器的参考结构，进而可以通过P/B帧来进行错误恢复，可以完全避免发送IDR帧来恢复错误。
图6：飞书远程协作屏幕内容共享功能目前，屏幕内容视频编解码器BVC1S已经在飞书远程协作屏幕共享中落地应用，给用户带来了更流畅的使用体验。下一步，BVC1S也将集成在火山引擎视频云RTC产品中对企业客户开放服务。
关于火山引擎多媒体实验室
多媒体实验室致力于研究、探索多媒体领域的前沿技术，参与国际、国内多媒体方向的标准化工作，为多媒体内容分析、处理、压缩、传输、创新交互等领域提供软硬件解决方案。目前多媒体实验室所提供的众多创新算法已经广泛应用在了抖音、西瓜视频等产品的点播、直播、实时通信、图片等多媒体业务，并向火山引擎的企业客户开放服务，提供极致的视频技术和产品体验。
