百度文心大模型:自主创新打造“AI底座”,多个模型世界领先

百度文心大模型:自主创新打造“AI底座”,多个模型世界领先
2022年04月17日 16:34 智谷趋势

由深度学习驱动的人工智能,正推动新一轮科技革命和产业变革。随着数据井喷、算法进步和算力突破,效果好、泛化能力强、通用性强的预训练大模型(以下简称“大模型”),成为人工智能发展的关键方向与人工智能产业应用的基础底座。

4月16日,2021百度认知AI创意赛“AI创意派”决赛正式举行,这是业内首次将先进的AI大模型能力开放给公众使用,实现了大模型在激发创意、落地应用上的突破。百度集团副总裁吴甜出席并围绕大模型行业趋势、产业价值、落地成果,分享了百度文心大模型的进展。

百度集团副总裁吴甜

吴甜指出,预训练大模型已成为人工智能发展的新方向,百度文心大模型源于产业、服务于产业,是真正的产业级知识增强大模型。百度通过大模型与国产深度学习框架融合发展,打造了自主创新的AI底座,真正发挥大模型驱动AI规模化应用的产业价值。

攀登技术新高地,百度深耕产业级大模型

近年来,国内外科技巨头如谷歌、微软、英伟达、百度等,相继在AI大模型领域展开探索。大模型的重要性在于——人工智能要真正发挥对产业升级转型的驱动力,需要与各行各业的特异性场景深度融合,而大模型正是支持人工智能低门槛应用于不同场景的通用力量。

大模型的出现,大幅降低了人工智能的应用门槛。其通过集中提供通用算法模型,打造技术底座,让大多数企业能够“站在巨人的肩膀上”, 使标注数据更少、开发效率更高、应用成本更低。

百度自2019年开始深耕预训练模型研发。2019年3月,百度率先发布中国首个正式开放的预训练模型ERNIE1.0,并持续投入于大模型的研发升级;2021年12月,ERNIE 3.0升级为全球首个知识增强千亿大模型鹏程-百度文心。

目前,百度已成功打造文心大模型家族,多个大模型达到世界领先水平,例如全球首个百亿参数中英文对话大模型PLATO-XL、首个聚焦中英文场景大规模 OCR 结构化预训练模型 VIMER – StrucText、全球最大规模中文跨模态生成模型ERNIE-ViLG等。此外,鹏程-百度文心大模型在60多项经典的NLP任务中取得世界领先效果。

超大规模模型的训练和推理,给深度学习框架带来很大考验。支撑文心大模型高效分布式训练的关键技术力,是百度飞桨平台自主研发的端到端自适应分布式训练框架与4D混合并行技术。依托飞桨,文心大模型解决了大模型训练过程中多个世界性难题,使大模型训练速度提升、模型效果更优。

基于百度飞桨平台与百舸集群,文心大模型在算法、框架、算力层面实现完全自主创新,百度通过大模型与国产深度学习框架融合发展,为中国产业智能化转型打造AI大底座。

大幅降低门槛,文心大模型助力产业规模化应用

随着大模型的价值凸显,由国内外科技巨头主导开发的大模型正在大量涌现。吴甜认为,大模型未来的发展趋势,一方面会继续出现技术创新,另一方面会在产业实用上有更多价值产生。

文心大模型作为产业级知识增强大模型,核心价值在于驱动AI的规模化应用。本次创意赛,百度在行业首次将先进的AI大模型能力开放给公众使用,吸引全国各地近2000名不同年龄、不同技术基础的选手参与其中,收集超过300份创意方案,作品覆盖教育、医疗、金融、娱乐、科技、心理健康等多个领域。

创意应用中,文心大模型用AI为创意插上腾飞羽翼。其基于大规模知识和海量无结构数据融合学习、深度学习,不断吸收海量文本数据中词汇、结构、语义等方面的知识,并通过持续学习不断提升理解能力和生成能力,实现视频、歌词、艺术画等创意作品的自动生成。尤其是在AIGC(AI generated content,人工智能创造内容)领域,借助大模型的跨模态综合技术能力激发创意、提升内容多样性。

基于文心大模型生成的歌词和艺术画

为了进一步降低AI应用难度,文心大模型还为开发者提供了工具平台,配套易上手的大模型开发、轻量化、部署工具,让各行各业的开发者都能低门槛地实现AI的应用。

据吴甜介绍,“今年是文心大模型产业落地关键年”。目前,文心大模型已大规模应用于百度内部的各类产品,包含搜索、信息流、小度智能屏、百度地图等,显著提升了产品智能化体验。基于文心的开放能力,对外的日调量也超过了五千万次。

文心大模型已通过飞桨开源开放平台、百度智能云等赋能到工业、能源、金融、通信、媒体、教育等各行各业,个人、企业开发者数量超6万。在保险领域应用中,文心大模型的智能解析能力,能使文本处理效率提升30倍;在人力资源领域应用中,文心大模型能实现候选人信息智能分类,模型识别准确率达到99%;在医疗领域应用中,文心大模型将每份病历的检查时间,从30分钟缩短到了秒级别。

从AI核心技术到AI基础平台,坚持技术创新及开放生态,百度正不断降低AI技术开发和应用的门槛,并通过云平台、AI框架、大模型的融合发展,为各行各业的数字化、智能化转型打造厚实的基础设施。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部