对国外开发者们来说,今天是一个特殊的“疯狂星期四”!
周四还没来,就有开发者在社交媒体平台上翘首以盼;
已经要睡觉的日本网友,半夜爬起来测试竞技场;
甚至有人直呼今天是“疯狂星期四”!
没错,一切都是因为,Qwen2.5开源了,而且一口气开源了100多个模型!
9月19日云栖大会,阿里云CTO周靖人发布通义千问新一代开源模型Qwen2.5系列,包括语言模型 Qwen2.5,多模态模型Qwen2-VL,以及专门针对编程的 Qwen2.5-Coder 和数学模型 Qwen2.5-Math。
2023年8月开始,Qwen系列开始逐渐开源,不到一年内,从1.0逐步升级到2.5,完成了四次重大迭代,从今年年初到现在持续霸榜,开发者们更是将这一次开源,称为“史诗级开源”。
甚至网友辣评:这才是真正的“Open AI”。
一口气,上架100多个模型!
在开发者眼里,他们称Qwen系列为:Big Boy。因为他实在是“太直男了”!把最好的模型、最全尺寸的模型、最强的专项模型全部拿出来开源。
没有技巧,全是直给。海外有开发者评价说:Qwen才是最open的AI。
先来看模型效果。
在MMLU-redux等十多个基准测评中,Qwen2.5-72B“以小博大”,单挑Llama3.1-405B,用不到1/5的参数实现了大参数模型的效果,甚至在某些性能指标上表现更优。
而这对于独立开发者来说至关重要,405B虽然香,但放眼全国恐怕没几个开发者用得起。用更小的内存达到更好的模型效果,降低成本的同时,让大规模部署和应用开发成为可能。
那么问题来了,2.5版本怎么做到大幅度的性能提升?
据硅星人了解,Qwen2.5全系列模型所有尺寸模型都在最新的大规模数据集上进行了预训练,该数据集包含多达18T tokens。相比于Qwen2,Qwen2.5整体性能提升18%以上,拥有更多的知识、更强的编程和数学能力。Qwen2.5-72B模型在MMLU-rudex基准(考察通用知识)、MBPP基准(考察代码能力)和MATH基准(考察数学能力)的得分高达86.8、88.2、83.1。
Qwen2.5模型支持高达128K tokens的上下文长度,可生成最多8K tokens内容,支持中文、英文、法文、西班牙文等29种以上语言。
此外,Qwen2.5模型在指令执行、生成长文本、理解结构化数据以及生成结构化输出方面取得了显著进步,总体对于各种System prompt更具适应性,增强了角色扮演实现和聊天机器人的条件设置功能。
从测试结果来看,Qwen2.5明显有了逻辑思考和推理能力,对语言的理解更加准确,逻辑思考过程也更清晰。
在开源方面,Qwen更是做到了能开尽开,Qwen2.5大语言模型开源了0.5B、1.5B、3B、7B、14B、32B、72B七个尺寸,包含Base版本、Instruct(指令跟随)版本和各种量化版本。
型号设定充分考虑了下游场景的不同需求,新增了3B、14B和32B的模型。其中3B是适配手机等端侧设备的黄金尺寸;32B是最受开发者期待的“性价比之王”,在性能和功耗之间获得最佳平衡,以更小的模型参数做到更强的效果。经测试,Qwen2.5-32B的整体表现超越了Qwen2-72B。
更重要的是,开发者的需求Qwen是真听了。在Qwen2.0时,开发者就强烈呼吁32B模型以及GGUF模型,在新的2.5版本中,Qwen就开源了GGUF、GPTQ和AWQ 3种量化模型,让开发者不用再苦等Llama,提供更多模型选择。
除了通用模型,Qwen2.5系列也开源了更强的专项模型。其中,用于编程的 Qwen2.5-Coder 开源了1.5B、7B两个版本(32B版本也在开发中了),基于Qwen2.5模型初始化,持续训练5.5T Tokens,包括源代码、文本代码混合数据、合成数据等,使即使较小的编程专用模型也能在编程评估基准测试中表现出媲美大型语言模型的竞争力。
用于数学的Qwen2.5-Math开源了1.5B、7B、72B三个版本,利用Qwen2-Math-72B-Instruct模型合成更多高质量的数学预训练数据,支持使用思维链和工具集成推理(TIR) 解决中英双语的数学题。
硅星人对Math模型进行了地狱难度的测试,我们将Math模型和OpenAI 刚刚开放的o1进行对比,要知道相比于GPT-4o,o1的数学竞赛能力要明显高出很多。
我们将同一道AIME(美国数学邀请赛)难题给Qwen2.5-Math和o1同时回答,这道题在o1出现之前,只有DeepMind的专业模型能够回答正确,其他通用大模型几乎全军覆没。
测试结果显示,o1用了15s时间思考作答,而Qwen2.5-Math用了29秒,二者分别使用了两种不同的解法,但答案都正确。
左边o1,右边Qwen2.5-Math
在此之上,Qwen 系列也在逐渐释放多模态能力,视觉语言模型Qwen2-VL-72B正式开源,该模型能够识别不同分辨率和长宽比的图片,理解20分钟以上长视频,具备自主操作手机和机器人的视觉智能体能力。
此前权威测评LMSYS Chatbot Arena Leaderboard发布最新一期的视觉模型性能测评结果,Qwen2-VL-72B成为全球得分最高的开源模型。
种类多得像逛集市?
来总结一下:基模层面,Qwen2.5大幅度提高了模型性能,囊括了多尺寸、多语言、多种类、多专项模型,还增加了多模态的视觉能力,不得不说,Qwen2.5还是太全面了!
将开源开放进行到底
开源了这么多,真的被开发者用起来了吗?
这不止是对Qwen,更是对所有开源模型提出的灵魂拷问。
在现场,周靖人也公布了一组数据:截至2024年9月中旬,Qwen系列的下载量已经超过4000万,海内外开源社区中Qwen系列衍生模型数量已经超过5万个,成为了仅次于Llama的世界级模型群。
而做到这个使用量级,不是简单地把模型丢到开源社区就可以的,这背后还需要下“苦功夫”。
首先就是要对开发者的真实需求“点对点”地突破,通过生态融合让开发者更简单、更直接地使用Qwen系列。
自Qwen1.5发布以来,通义团队就与HuggingFace合作,把模型代码合并到HuggingFace Transformers代码库,方便开发者直接使用Transformers原生代码,并拓展各类开源框架、开源工具对Qwen系列的兼容和支持,包括vLLM、SGLang、AutoAWQ、AutoGPTQ、Axolotl、LLaMA-Factory、llama.cpp、Ollama、LMStudio等等。
通义团队介绍,“在model card(准备模型文档)中,除了主流的英文文档,还会准备中文甚至其他语种的文档;优化文档质量,让开发者一眼读懂模型的亮点、效果、demo;准备代码片段,帮助开发者快速部署和使用模型。”
“发这么多种模型,是想把更多的选择留给开发者,他们会基于自己的业务场景做权衡,比如,让模型能力更强或者推理效率更高。”周靖人讲道,“同时我们也为企业客户提供闭源的API调用。开源助力的是生态的发展,闭源更好地满足企业级用户的需求,阿里云也提供更极致的性价比,要做的就是把模型使用的门槛降低。”
除了开源模型的全面升级,通义千问也升级了旗舰模型Qwen-Max。目前,通义官网和通义APP的后台模型均已切换为Qwen-Max,继续免费为所有用户提供服务。用户也可通过阿里云百炼平台调用Qwen-Max的API。
相比2023年4月的初代通义千问大模型,Qwen-Max的理解能力提升46%、数学能力提升75%、代码能力提升102%、幻觉抵御能力提升35%、指令遵循能力提升105%,模型与人类偏好的对齐水平更是有了质的飞跃,提升了700%以上。
相比于其他模型厂商对开源闭源的选择泾渭分明,如OpenAI坚持闭源、Llama坚持开源,阿里云具有一定的特殊性,既在开源社区生态中投入建设,又通过云服务向企业客户提供服务。
周靖人也介绍道,开源还是闭源,不应该由大模型厂商来选择,而是由市场需求而定。阿里云此前打造的完整的技术生态,能够辅助大模型在企业中更好地落地,如阿里云百炼平台提供的完整工具链,能够更好地辅助开发;魔搭社区也成为了中国最受欢迎的AI社区。阿里云的选择不是为了短暂的市场竞争,而是抱着开放的心态,与整个行业长期共建的过程。
不停的迭代基模能力以及与合作伙伴共建生态,“先进”和“开放”,是周靖人给出的两个关键词。
开源闭源之争已久,即便我们无法判断最终究竟会是怎样的技术路线,但可以确定的是,以开放为核心的阿里云通义,会一直留在牌桌上。
4000520066 欢迎批评指正
All Rights Reserved 新浪公司 版权所有