对应80亿组参数规模,NVIDIA推出精准度更高的小型自然语言模型

对应80亿组参数规模,NVIDIA推出精准度更高的小型自然语言模型
2024年08月23日 13:51 星梦音乐台

对应80亿组参数规模,NVIDIA推出精准度更高的小型自然语言模型Mistral-NeMo-Minitron 8B可以更低成本快速部署于各个边缘运算节点

继先前推出参数规模在120亿组的Mistral NeMo 12B小型自然语言模型后,NVIDIA再次宣布推出参数规模更小、精准度却更高的小型自然语言模型Mistral-NeMo-Minitron 8B,参数规模控制在80亿组,可用于小型工作站,或是快速部署于各个边缘运算节点,同时也能用在资料中心及云端运算丛集。

对应80亿组参数规模,NVIDIA推出精准度更高的小型自然语言模型

相比Mistral NeMo 12B,此次推出的Mistral-NeMo-Minitron 8B将能以更小规模用在多元运算节点,让自动生成式人工智慧技术能在更多运算载具上运作,同时维持相同人工智慧执行效能,甚至更进一步提高其运算精准度。

生成式人工智能(AI)的开发者通常得面临要取捨模型大小还是精确度的难题。不过 NVIDIA 发表的全新语言模型倒是兼具两者之长,这个模型体积小巧,又有著最先进的精确度。

NVIDIA应用深度学习研究部门副总裁Bryan Catanzaro表示:“我们将两种最佳化人工智慧的方法加在一起。这包括以‘剪枝’ (pruning)方式,将原本Mistral NeMo 12B决策分辨能力较弱的运算部分去除,使其参数进一步缩减,另外藉由‘蒸馏’ (distillation)方式提升模型运算精准度,让调整后的Mistral-NeMo-Minitron 8B能以更高效率运作,同时不影响其精准度表现,更可精简模型运算成本。”

目前开发人员可以透过包装成有著标准应用程式界面 (API)的NVIDIA NIM 微服务使用Mistral-NeMo-Minitron 8B模型资源,或是透过Hugging Face下载,并且能将其部署应用在更多以GPU加速运算系统上使用。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部