日前，被业界广为接受的 AI 行业基准测试 MLPerf 发布了最新一轮 MLPerf 0.7 Training 排名结果，GPU 制造商英伟达凭借其 A100 GPU 横扫所有类别的商用系统，打破了 16 项记录，其中在一些类别中，英伟达是唯一的参赛者。
关于 MLPerf
该排名的发布组织 MLPerf 始创于 2018 年 2 月，成员单位既包括 Facebook、腾讯、谷歌等顶级人工智能公司，也有 Cerebras、Mythic 和 Sambanova 等创业公司，还包括斯坦福、哈佛、多伦多大学等 10 所高校。MLPerf 创建的使命是建立公平、有用的基准，来衡量机器学习硬件、软件和服务的训练和推理性能。
MLPerf 训练基准测试套件是业界推出的首款致力于测量机器学习软硬件性能的通用标准的系统，测试标准涵盖计算机视觉、语言翻译、个性化推荐以及强化学习任务等领域。每个 MLPerf 训练基准由数据集和质量目标定义，下表总结了该套件在 2019年发布的 v0.6 版本中的 7 个基准测试：
图片来源：MLPerf 官网
2018 年 5 月 2 日 MLPerf 发布了训练基准测试套件，主要用于衡量计算机将一组特定的神经网络训练到约定的精度所需的时间，此前已发布两轮测试结果。据 MLPerf 官方数据显示，MLPerf 0.7 Training 共包括八项测试基准：Image classification；Object detection, light-weight；Object detection, heavy-weight；Translation, recurrent；Translation, non-recurrent；NLP；Recommendation；Reinforcement Learning，本轮测试中最快的系统平均速度提高了 2.7 倍。
英伟达数据中心计算产品管理高级总监 Paresh Kharya 表示：“MLPerf 的创立是为了帮助业界区分人工智能领域的事实与虚构”。尽管如此，联盟的大多数成员单位还没有提交训练成果，阿里巴巴、戴尔、富士通、谷歌和腾讯是商业云计算领域仅有的几家竞争对手，英特尔有几款参赛产品将在未来 6 个月内上市。
MLPerf 0.7 Training 基准测试刷新纪录
在商用和云端可用系统中，英伟达的 A100 DGX SuperPOD（上图中亮绿色的横条）训练神经网络的速度最快。
在最新的这轮 MLPerf Training v0.7 基准测试中，对原第三项基准进行了大幅修改，并增加了两项新的测试基准：BERT 和 DLRM，总共有七项测试。
BERT（Bidirectional Encoder Representation from Transformers）是用维基百科训练的双向编码器表示法，是一种前沿的语言模型，对于给定一个文本输入，该语言模型能够预测相关的单词，被广泛用于自然语言处理任务，如用作翻译、搜索、文本理解、回答问题和生成文本的构建模块。
在这个基准的商用系统中，英伟达拥有最快的训练速度（用时 48.6 秒），但是谷歌的一个研发项目的系统以 23.4 秒的训练时间超过了它。
DLRM（Deep Learning Recommendation Model）是用 Criteo AI Lab 的 Terabyte Click-Through-Rate （CTR）数据集训练的深度学习推荐模型，用于个性化推荐，它是在线购物、搜索结果和社交媒体内容排名中使用的推荐系统等商业应用的代表。Criteo AI Lab 的 Terabyte CTR 数据集的点击记录是最大的开放推荐数据集，包含了 24 天内 40 亿用户和项目交互的点击记录。
虽然，英伟达以 3.3 分钟的训练时间在 DLRM 的商用参赛者中独树一帜，但谷歌内部的一个系统以 1.2 分钟的成绩夺得这一项的冠军。
使用强化学习的 Mini-Go 测试
除了增加 DLRM 和 BERT 两项基准，MLPerf 还在 v0.5 和 v0.6 迷你棋盘的基础上，使用了强化学习算法提高了 Mini-Go 基准的难度级别，Mini-Go 在比以往更大的 19×19 全尺寸棋盘上学习围棋游戏。
Mini-Go 必须同时进行围棋游戏，处理棋局中的数据，并在这些数据上训练网络。Kharya 说：“这是最难的一项基准，因为强化学习本身就很难，它不是使用现有的数据集，基本上是边走边创建数据集。”
在每个处理器上，英伟达的产品都表现出了不错的运行。
根据英伟达的 GPU 工程副总裁 Jonah Alben 的说法，强化学习在机器人技术中越来越重要，因为它可以让机器人在不会对人们的人身和财产安全造成威胁的情况下，学习新的任务。
英伟达在 Mini-Go 上唯一的竞争对手是来自英特尔的一个尚未商用的系统，它的成绩是 409 分钟，另一个竞争对手是来自谷歌的一个内部系统，它只用了不到 160 分钟。
英伟达使用 Selene 超级计算机测试了所有的基准，Selene 使用的是英伟达 DGX SuperPOD 计算机架构，它在超级计算机 Top500 榜单中排名第七，是全球第二大工业超级计算机。
编辑：小婷
头条号入驻
4000520066 欢迎批评指正
All Rights Reserved 新浪公司 版权所有
