面壁智能新品MiniCPM3.0问世,端侧大模型商业化应用在即

面壁智能新品MiniCPM3.0问世,端侧大模型商业化应用在即
2024年09月06日 15:01 松果财经Pinecone

松果财经讯,9月6日,面壁智能官方公众号宣布正式推出其“小钢炮”系列的最新产品——端侧开源大模型MiniCPM3.0。

据介绍,MiniCPM3.0在量化后内存仅为2GB,却拥有4B参数,并在上下文处理长度、FunctionCalling等方面进行了升级且支持函数调用和代码解释器。评测表现显示,该模型在自然语言理解、知识、代码、数学等能力上超越了GPT-3.5。

以长文本处理为例,面壁智能CTO曾国洋透露,MiniCPM3.0通过引入LLMxMapReduce长文本分帧处理技术,实现了无限长度的文本处理能力,上下文长度可拓展至512K甚至更高。这项技术使得MiniCPM3.0能够处理整本书籍、海量学术论文或跨年聊天记录,极大提升了端侧AI的实际应用能力。

此外,面壁智能还发布了RAG三件套,包括MiniCPM-Embedding检索模型、MiniCPM-Reranker重排序模型,以及面向RAG场景的微调版MiniCPM3-RAG-LORA模型,进一步增强了端侧模型的多功能性。

面壁智能CEO李大海表示,公司正积极推动端侧大模型的商业落地,预计明年将有配备端侧模型的终端设备,如手机和PC等开始量产。面壁智能已与多家企业合作,包括在世界机器人大会上与加速进化机器人的合作,将MiniCPM模型植入人形机器人,作为其“大脑”。

面壁智能,成立于2022年8月,由来自清华大学自然语言处理实验室(THUNLP)的团队创立,专注于大模型技术的创新与应用转化。今年4月,公司完成了新一轮数亿元融资,由春华创投、华为哈勃领投。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部