推理吞吐量提升20多倍，开源CV-CUDA 强在哪？_

在如今信息化时代中，图像或者说视觉内容早已成为日常生活中承载信息最主要的载体，深度学习模型凭借着对视觉内容强大的理解能力，能对其进行各种处理与优化。然而在以往的视觉模型开发与应用中，我们更关注模型本身的优化，提升其速度与效果。相反，对于图像的预处理与后处理阶段，很少认真思考如何去优化它们。所以，当模型计算效率越来越高，反观图像的预处理与后处理，没想到它们竟成了整个图像任务的瓶颈。

为了解决这样的瓶颈，Nvidia 携手字节跳动机器学习团队开源众多图像预处理算子库 CV-CUDA，它们能高效地运行在 GPU 上，算子速度能达到 OpenCV（运行在 CPU）的百倍左右。如果我们使用 CV-CUDA 作为后端替换 OpenCV 和 TorchVision，整个推理的吞吐量能达到原来的二十多倍。此外，不仅是速度的提升，同时在效果上 CV-CUDA 在计算精度上已经对齐了 OpenCV，因此训练推理能无缝衔接，大大降低工程师的工作量。新浪微博是 CV-CUDA 首批 EA（Early Access）的用户，在视频版权，视频重复检测等场景中进行了测试和应用，在视频前处理任务中相比之前的方案提升了 2-3 倍，基于此，在 GPU 上的内容理解pipeline提升了 1.2-1.5 倍。

2023 年 1 月 15 日，9:30-11:30，由 NVIDIA 主办的『CV-CUDA首次公开课』，将邀请来自 NVIDIA，字节跳动，新浪微博的 3 位技术专家，就相关主题进行深度分享，欢迎大家届时收看~

主办方：NVIDIA

活动时间：1月15日，9:30-11:30

⭐️ 活动亮点：

CV-CUDA 项目简介、特点、性能解析。
如何利用 CV-CUDA 提高计算效率？
如何利用 CV-CUDA 加速 PyTorch 流水线？
如何判断是否要使用 CV-CUDA？
CV-CUDA 在字节跳动和新浪微博应用的最佳实践。

01/详细日程

02/详细介绍

👨 张毅 NVIDIA GPU计算专家团队工程师

个人介绍：张毅是 NVIDIA GPU 计算专家团队的工程师。主要从事计算机视觉领域的算法加速工作，同时也是 CV-CUDA 项目的发起人，负责 CV-CUDA 项目早期的框架设计和算子开发工作。此外，他还是 PyTorch 转 TensorRT 编译工具 Torch-TensorRT 的核心开发人员。在加入 NVIDIA 之前，于腾讯优图从事计算机视觉算法研发工作。分别于浙江大学和上海交通大学获得学士和硕士学位。

💬 演讲题目：CV-CUDA 高性能图像处理加速库

🔥 演讲提纲：

1. CV-CUDA 项目简介

2. CV-CUDA 特点

3. CV-CUDA 性能

4. 代码示例

🎁 听众收益：

1. CV-CUDA 如何提高计算效率

2. 例如利用 CV-CUDA 加速 PyTorch 流水线

👨 盛一耀字节跳动机器学习系统工程师

个人介绍：盛一耀是字节跳动机器学习系统团队的工程师，是CV-CUDA项目主要的开发者之一。他于美国卡耐基梅隆大学获得硕士学位后，2019年加入字节跳动，主要从事机器学习系统相关工作，对模型训练和推理性能优化有较深刻的理解。在CV-CUDA项目中，他在把握并提供字节跳动内部视觉相关算子需求的同时，也参与开发了许多GPU视觉类算子。

💬 演讲题目：CV-CUDA 在字节跳动内部使用介绍

🔥 演讲提纲：

1. CV-CUDA的开发缘由

2. CV-CUDA的特性及使用

3. CV-CUDA案例展示

🎁 听众收益：

1. 如何定位机器学习训练过程中预处理瓶颈

2. 如何判断是否要使用CV-CUDA

3. CV-CUDA的最佳实践是怎样的

👨 庞锋新浪微博资深算法工程师

个人介绍：电子科技大学计算机软件与理论硕士研究生。2017年加入新浪微博，主要负责图片与视频内容理解相关工作。图像理解方面，研发过图片标签系统、图文标签融合、图片软色情识别、图片去重系统；视频理解方面，研发过视频标签系统、视频封面自动提取系统、视频去重系统、视频版权保护系统、视频软色情识别、视频多模态表达等相关项目。

💬 演讲题目：CV-CUDA 在微博多媒体内容理解的应用

🔥 演讲提纲：

1. CV-CUDA 介绍

2. 多媒体内容理解在微博的应用介绍

3. CV-CUDA 在微博的应用案例

🎁 听众收益：

1. 如何使用 Embedding 解决视频版权，视频重复检测等业务问题？

2. 如何使用算法对视频质量进行评估？

3. 如何结合 CV-CUDA 提升算法效率？