10月15日,阶跃星辰开源新一代大模型Step 5 Preview,同日,摩尔线程宣布旗下MTT S5000智算卡及MUSA软件栈已完成该模型的首日适配。Step 5 Preview采用稀疏MoE架构,总参数量600B,每Token激活27B参数,支持100万Token上下文窗口,摩尔线程此次适配涉及混合注意力、混合精度推理、投机解码等环节。
4001102288 欢迎批评指正
Copyright © 1996-2019 SINA Corporation
All Rights Reserved 新浪公司 版权所有
All Rights Reserved 新浪公司 版权所有
