Alex Cheema发布了一个用4台M4 Pro Mac Mini集群来跑70B参数大模型的视频…

Alex Cheema发布了一个用4台M4 Pro Mac Mini集群来跑70B参数大模型的视频…
2024年11月11日 20:15 蚁工厂
Alex Cheema发布了一个用4台M4 Pro Mac Mini集群来跑70B参数大模型的视频,没说多大内存的。现在的速度大概是每秒8个token。应该还可以继续优化。按@karminski-牙医 的大语言模型推理专用显存天梯榜,4台M4 Pro Mac Mini集群的理论速度可以到每秒22.75个token。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部