面向突破超万亿参数大模型算力瓶颈!燧原科技清程极智携手开发高性能系统方案

面向突破超万亿参数大模型算力瓶颈!燧原科技清程极智携手开发高性能系统方案
2024年07月05日 23:06 文汇报

为了突破人工智能大模型发展所面临的算力瓶颈,国内两家人工智能行业知名企业——燧原科技与清程极智今天签署战略合作协议,将面向超万亿参数大模型和超大规模集群,联合开发高性能系统软件方案。

当前,大模型在加速发展的同时,日益增长的模型参数、海量的语料库以及广泛的场景需求,也对算力基础设施提出了巨大挑战。正在火热进行的世界人工智能大会上,许多人都在关注,如何能使超大规模集群能同时具备高效率和高性价比。

燧原科技和清程极智此次联手,就是致力于共同打造超大规模智算集群的训练方案,针对大模型实际应用场景,进行软硬协同的开发与优化,满足基础大模型的预训练、行业大模型的微调、大模型推理部署等不同应用场景和多元的算力需求,提供更高性能、更高效率、更高性价比的算力方案。

此前,这两家企业已在技术领域开展了一系列重要合作。其中,基于燧原的新一代人工智能推理加速卡“燧原S60”和清程极智的高性能推理框架“FastDecode”,双方共同研发了千亿参数规模大模型的高性能推理平台,可在不同场景下实现最高10倍的吞吐量提升,实测并发量是vLLM等开源框架的4倍,为进一步降低算力成本提供了可规模落地的方案。

燧原科技创始人、董事长、首席执行官赵立东表示,清程极智的系统软件方案,有效提升大模型训练和推理算力利用率,显著降低使用成本。双方合作将有效推动生成式人工智能的变革,助力中国数字经济发展。

清程极智CEO汤雄超表示,双方优势互补,战略合作正逢其时。相信随着合作的深入,两家公司还将进一步拓展合作维度,在更多前沿技术领域协同创新,共同赋能新质生产力的构建。

  作者:

文:张懿编辑:史博臻责任编辑:唐玮婕

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部