2019年7月，微软向OpenAI投资了10亿美金，计划是在Azure中建立一个可以训练和运行高级AI模型的超算平台。
在此次Build 2020开发者大会上，微软宣布了与OpenAI这次合作的结果，打造了一台排名世界前五的超级计算机。
这台超级计算机是微软与OpenAI独家合作（且专门为OpenAI打造）而构建的，专门用来在Azure公有云上训练超大规模的AI模型。
微软声称，与「全球超算500」相比，它是世界上功能最强大的第五台超级计算机。
新型超级计算机：28.5万个CPU核心，1万个GPU
由微软和OpenAI打造的这款超级计算机拥有超过28.5万个CPU核心，1万个GPU，每个GPU服务器的网络连接能力为400Gb/s ，它旨在训练单一的大规模分布式AI模型。
ML专家历来构建单独的小型AI模型，并使用许多带有标签的示例来学习单个任务。人工智能研究社区开发的新型模型已经证明，通过单个大型模型可以更好地执行某些任务。
经研究人员验证，这些大型AI模型之所以表现出色，是因为它们可以深入地吸收语言，语法，知识，概念和上下文的细微差别，以至于它们可以胜任多项任务：
总结冗长的演讲，调节实时游戏聊天中的内容，解析复杂的法律文档，甚至可以从搜寻GitHub中生成代码。
微软表示，其目标是通过Azure AI服务和GitHub，进一步释放出大规模AI模型、训练优化工具和超级计算机资源，让开发者、数据科学家和商业客户都能轻松利用这一平台，开发自己的项目。
训练庞大的AI模型需要先进的超级计算基础架构，或通过高带宽网络连接的最新硬件集群。它还需要工具来在这些互连的计算机之间训练模型。
在「自我监督」学习中，AI模型可以从大量未标记的数据中学习。从技术角度来看，大型AI模型具有「自我监督」的优势。
在所谓的「自我监督」学习中，这些AI模型可以通过检查网上数十亿页的公共文档来学习语言。
例如，模型可以通过吸收大量的文本，并预测缺失的单词和句子来学习语言的细微差别。
由于AI模型进行了数十亿次检查，因此它非常擅长感知单词之间的关系，能够对语法，概念，上下文关系和其他语言构建块充分理解。
目前，该模型已用于改善Bing，Office，Dynamics和其他生产力产品的语言理解任务。
新超算，通向AGI的必经之路
OpenAI很久以来就断言，巨大的计算能力是迈向AGI的必经之路。
虽然像Mila创始人Yoshua Bengio和Facebook副总裁兼首席AI科学家Yann LeCun 这样的名人都认为AGI不存在，但OpenAI的联合创始人和支持者相信功能强大的计算机结合强化学习和其他技术可以实现范式转移的AI进步。
超级计算机的发布代表了OpenAI在该愿景上的最大赌注！
目前尚不清楚新的超级计算机是否具有足够的功能来实现接近AGI的功能。
去年，Brockman告诉《金融时报》，预计在2025年之前，OpenAI将花费微软公司10亿美元的全部投资，构建一个可以运行「人脑大小的AI模型」的系统。
2018年，OpenAI自己的研究人员发布了一份分析报告，显示从2012年到2018年，最大规模的AI训练运行中使用的计算量增长了300,000倍，而3.5个月的时间却翻了一番，远远超过了摩尔定律的步伐。
AlexNet到AlphaGo零：计算量增长了300,000倍上周，在此基础上，IBM详细介绍了神经计算机，该公司使用数百种定制设计的芯片实现了创纪录的每秒120万帧训练AI。
这款超级计算机不论是成为AGI的小垫脚石还是大跃进，用于设计超级计算机的软件工具都可能为Microsoft带来新的市场机会。
通过大规模分布式AI模型，这家科技巨头正在提供资源，以优化的方式在Azure AI加速器和网络上训练模型。
它将训练数据分为多个批次，用于在集群中训练模型的多个实例，并定期取平均值以生成单个模型。
这些资源包括深度学习优化库DeepSpeed，这是Facebook PyTorch机器学习框架的AI库，可以在同一基础架构上训练大于15倍，快10倍的模型，并支持在ONNX Runtime上进行分布式训练。
微软声称，与DeepSpeed结合使用时，ONNX上的分布式训练可使跨硬件和操作系统的模型实现高达17倍的性能提升。
微软首席技术Kevin Scott表示，「微软正在构建更好的计算机，更好的分布式系统，更好的网络，更好的数据中心，所有这些都让整个Azure云性能，成本和灵活性变得更好。」
