如何加速生产级 AI 应用开发?

如何加速生产级 AI 应用开发?
2024年03月07日 14:30 AI前线

作者 | Nirmal Kumar Juluru、Phoebe Lee

在推出 ChatGPT 后,全球各地的企业开始意识到 AI 的优势和功能,并竞相将其应用到工作流程中。

随着这种采用的加速,企业不仅必须跟上 AI 的快速发展,而且还必须解决优化、可扩展性和安全性等相关挑战。

企业 AI 开发之旅通常从数据 ETL (提取、转换、加载) 阶段开始,在此期间准备用于训练的数据。接下来是训练 AI 模型。模型完成训练后,接下来的步骤包括部署和运行推理。企业需要在每个阶段使用经过优化的安全软件来构建生产就绪型 AI 应用。

使用 NGC 目录加速 AI 开发

Nvidia NGC 目录 通过以容器形式提供一系列 GPU 优化的软件和 SDK,帮助企业加速其 AI 开发。

目录中的一些热门容器包括用于数据 ETL 阶段的 RAPIDS,以及用于模型开发阶段的 TensorFlow 和 PyTorch。此外,还有用于模型部署阶段的 NVIDIA TensorRT 和 NVIDIA Triton 推理服务器。

图 1 展示了可用于 NLP、物体检测、推荐等多种用例的不同容器。探索 NGC 目录以找到适合您用例的软件。

图 1.NGC 目录为各种用例提供容器

NGC 容器的优势

目录中的所有容器都经过优化,可在最新的 NVIDIA 加速计算堆栈上运行,并定期更新,以在相同硬件上提供增强的性能。这些容器经过测试,可确保各种 NVIDIA GPU 的兼容性和性能。

企业可以在任何地方部署这些容器,包括本地以及多云和混合云环境。这些容器可以与各种容器编排系统一起部署,包括广泛使用的开源平台 Kubernetes. 此外,该目录提供了一系列 Helm 图表,以促进在 Kubernetes 集群上部署和管理容器。

安全和信任也是目录中可用的容器和模型不可或缺的一部分。所有容器都会扫描 CVE,并为其分配安全评级,以便企业可以对所下载的软件充满信心。图 2 显示容器的不同安全评级。

图 2.NGC 目录中容器的不同安全评级

一般来说,容器还具有其他优势,例如:

  • 依赖项封装:容器封装了所有依赖项(例如库和其他软件组件),以确保应用程序可以在任何环境中可靠运行,而无需额外配置。

  • 可再现性:容器包含了运行应用程序所需的所有内容,因此无论部署在何处,容器都将以相同的方式运行。这减少了与特定环境配置相关的问题的可能性。

  • 节省时间和资源:通过简化部署流程并确保跨环境的一致性,容器可节省大量时间和资源,而这些时间和资源原本只能用于手动设置和故障排除。

使用目录软件,企业开发者可以开始构建 POC 并测试其解决方案。当企业准备投入生产时,他们需要确保满足将 AI 集成到其业务应用程序中的要求。

这些要求包括企业级安全性、软件堆栈稳定性、企业级支持和可管理性。拥有清晰的路径来协助从开发到生产的过渡是成功实现价值所需时间的一部分。

从开发到生产的无缝过渡

多样化的软件组件和相关的相互依赖性使得维护安全、可靠的 AI 软件堆栈成为一项艰巨的任务,尤其是在需要将 AI 部署并集成到企业应用程序中时。NGC 目录通过提供基于社区的开发软件和用于生产的企业级软件分支,使企业开发者能够无缝过渡。

例如,目录提供了多个容器,包括 NVIDIA Triton 推理服务器(图 3)。NVIDIA Triton 推理服务器功能分支是按月发布的最新版本,可让开发者访问最新功能和性能优化。

图 3. NVIDIA Triton 推理服务器可使用不同的 NGC 容器

NVIDIA Triton 推理服务器可使用不同的 NGC 容器NVIDIA Triton 推理服务器生产分支专为 NVIDIA AI Enterprise 独家提供,主要构建任务关键型 AI 应用程序提供稳定性和安全环境而设计。生产分支每 6 个月发布一次,生命周期为 9 个月,确保 API 的稳定性。在 9 个月的生命周期内,NVIDIA 持续跟踪关键漏洞,每月发布 CVE 补丁和错误修复,而不破坏软件堆栈。

借助不同的优化 AI 软件选项,企业开发者可以利用目录选择适当的软件包,以支持给定的 AI 工作流,同时保持安全性。

借助 NVIDIA AI Enterprise

实现出色的不间断 AI

安全性、可靠性和可管理性对于企业级 AI 至关重要。为应对这些挑战,NVIDIA 推出了 NVIDIA AI Enterprise,这是一个企业级软件平台,可加速数据科学流程并简化生产级 AI 应用的开发和部署。

NVIDIA AI Enterprise 基于开源构建,并由 NVIDIA 精心策划、优化和提供支持,可提供多个受支持的分支 (生产、功能和长期支持)。它还包括通过 NGC 在整个 AI 旅程中提供的企业级安全性、稳定性、可管理性和支持。

  总结  

NGC 目录和 NVIDIA AI Enterprise 为企业提供了必要的工具,以跟上 AI 的快速发展,同时解决优化、可扩展性和安全性等相关挑战。

 内容推荐

China AI Day 演讲主题:AI Native,生成商业新未来

演讲简介:基于 LLM 技术的理解、生成、逻辑和记忆四大核心能力,百度营销全面重构商业生态,AI Native 全景应用落地,打造商业智能体,包括懂营销的 AIGC 创意内容生产平台“擎舵”,用自然语言即可创建营销方案的 AI Native 营销平台“轻舸”,全面提升广告投放效率与效果的商业动力引擎“扬楫”。全新商业智能体通过 LLM 技术驱动,基于自然语言的界面,使其能够理解客户的意图,帮助商家更好满足用户需求,同时利用 AIGC 技术,实现从营销洞察到创意制作、广告投放到营销经营的全链路闭环,在底层的模型与架构层面,多项技术取得核心突破,打造业内领先水平。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部