自2022年11月30日ChatGPT问世以来,58同城全公司倡导全面拥抱大模型,我们紧跟大语言模型技术发展步伐,以Model as a Service(MaaS)为理念打造了大语言模型平台,平台于2023年5月上线,支持大语言模型训练、推理等功能,是面向内部开发者推出的一站式大模型开发及服务运行平台。
基于58同城生活服务领域业务特性,我们在开源通用大语言模型的基础上,使用58同城生活服务领域数据继续训练,打造了垂类大语言模型——灵犀大模型ChatLing。2023年,我们初步完成了大模型技术的探索和应用,跟进上了大模型技术发展步伐,在公司落地了数款大模型AI应用。
![](http://k.sinaimg.cn/n/sinakd20250126s/608/w784h624/20250126/7396-d6a79d901347f69cc92615a114cc42e4.png/w700d1q75cms.jpg)
2024年,我们以「建设模型领先、敏捷易用的AI平台,助力AI应用在公司广泛落地」为目标,在AI平台和AI应用上大力投入。作为平台部门,我们通过持续提升平台能力、与前台业务开展不同深度合作、利用大模型技术升级内部已有应用、探索打造新型标杆应用等手段,稳步向目标迈进。
截至2024年底,大语言模型平台已支持58同城内部超过一百个业务场景的接入,日均调用量超过一千万次,相比年初增长近二十倍,大模型技术已渗透于销售、客服、产品、运营、内部办公全流程。
当前,我们基于灵犀大模型已经打造AI面试、AI找房助手、AI代聊、AI审核、大模型智能外呼、大模型智能客服、销售智能助手、美事智能办公助手、大数据智能助手、AI代码助手等标杆应用。此外,在搜索推荐领域,灵犀大模型在招聘搜索、房产推荐场景也已初步应用,取得了稳定效果提升。
![](http://k.sinaimg.cn/n/sinakd20250126s/487/w807h480/20250126/c39c-0dea129560a6847ae3bcb7c08901192d.png/w700d1q75cms.jpg)
为支撑大语言模型平台持续提升的流量,我们需要持续优化提升模型推理性能和优化GPU资源使用率,最大限度节省推理成本,我们主要开展以下几方面工作:
通过持续引入vLLM/SGLang/LMDeploy推理框架、应用量化技术、升级大语言模型版本等方式将大语言模型推理性能提升了两倍以上。
应用S-LoRA、vGPU技术将小流量应用混合部署在一张GPU卡上,提升GPU使用率。
大模型小型化是行业趋势,各大模型厂商相继发布小参数模型,我们也通过模型剪枝、知识蒸馏等技术构建了ChatLing-Mini系列模型,并在各业务场景推进使用。在某场景下,若小参数模型可以获得不错的效果,我们优先应用小参数模型。小参数模型推理速度快,所需资源少,能够有效降低推理成本。
MordernBERT发布具有重大意义,是BERT架构的现代化革新与性能突破,相比小参数生成式大模型,在大量NLP应用场景下更有效果和性能优势。我们已经基于58同城领域数据对MordernBERT进行了增量预训练,在实际应用场景下评测,相比生成式大模型可以获得更优的效果,后续将推进大量应用。
通过在大语言模型平台微调模型构建AI应用仍需一定技术门槛,为进一步降低AI应用落地门槛,我们以灵犀大模型作为大脑驱动,构建了灵犀智能体平台。智能体平台具备RAG、工具调用、工作流等功能,用户只需通过配置即可完成一个智能体的构建,并能自动生成API供用户调用,是一套低门槛、零代码的开发工具。我们强化了灵犀大模型的角色扮演、Function Call能力,不仅提升了工具调用的准确性,还增强了模型的通用性能。在RAG方案上,我们基于领域数据训练了文本向量化模型WTE(Wuba Text Embedding),并实现了Query改写、分片优化、全文检索+向量检索混合召回方案,在实际应用场景下,对比业界多家智能体平台,我们能够取得更优的效果,可参阅《大模型+智能体加速AI应用落地》。
![](http://k.sinaimg.cn/n/sinakd20250126s/763/w1080h483/20250126/9316-9c3067c242810e236097729f6171664b.png/w700d1q75cms.jpg)
从0到1训练大语言模型需要高昂的成本,从2023年上半年开始,我们一直选择基于开源通用大语言模型继续训练的路线打造灵犀大语言模型。我们聚焦于后训练(post-training)技术,应用增量预训练、有监督微调、强化学习对齐、知识蒸馏等技术增强了模型能力。2024年7月,灵犀大模型正式通过网信办备案,备案号:Beijing—LingXi—202407050027。
我们构建了招聘大模型、房产大模型、安全大模型、通用模型等一系列模型,在58同城实际应用场景下,灵犀大模型相比业界通用大模型可以获得更优的效果。在业界公开评测方面,我们选择打榜国际权威评测榜单LiveBench。LiveBench 是当前生成式 AI 领域最权威、客观的模型能力评测榜单之一,由图灵奖得主、Meta 首席 AI 科学家 Yann LeCun 联合 Abacus.AI、纽约大学等机构推出。该榜单专门为大型模型设计,从数学、推理、编程、语言理解、指令遵循和数据分析等多个复杂维度对模型进行评估,包含6个类别的17个不同任务,每月更新新问题,是最难作弊的榜单。在LiveBench评测数据集上,灵犀大模型能够获得57.52的评分,达到头部水平。我们已将灵犀大模型API提供给LiveBench官方,后续将正式加入官方榜单。
![](http://k.sinaimg.cn/n/sinakd20250126s/698/w992h506/20250126/ab9c-209f03ed75eeaf648d1bfbff22cc59ca.png/w700d1q75cms.jpg)
LiveBench-2024-08-31:https://livebench.ai
业界语音技术在2024年也飞速发展,我们引入开源语音大模型,应用多年积累的语音数据继续训练,有效提升了语音生成效果,能够生成更加稳定、自然、拟人的声音,已广泛应用于语音对话、视频生成、数字人等场景(视频生成、数字人能力联合多模态大模型团队一起打造)。
我们攻克了大语言模型端到端对话技术难点,通过知识蒸馏技术赋予小参数模型较强的指令遵循、问答能力,在相关应用场景下使用一个模型即可端到端完成对话,并能低延迟生成回答内容。同时,配合流式语音生成技术,实现了大语言模型流式输出、语音大模型流式生成的大模型语音对话方案。我们将大模型语音对话技术应用在智能外呼、数字人对话场景,不仅提升了对话效果,也大大提升了算法研发效率。以下是大模型智能外呼、数字人AI面试对话录音示例,AI响应迅速,可以自然流畅地和用户进行对话。
AI外呼清洗商机,提升销售作业效率
AI外呼补充企业招聘需求,丰富企业画像
打造数字人AI面试官,提升求职者和企业间的连接效率
![](http://k.sinaimg.cn/n/sinakd20250126s/442/w1080h962/20250126/b444-f6162ed606cf422db4b04698b75504b5.png/w700d1q75cms.jpg)
招聘AI面试数字人(和多模态大模型团队联合打造)
2024年,58同城内部已有超过一百个业务场景接入大模型,大模型日均推理流量超过一千万次,相比年初增长近二十倍,AI应用已基本实现广泛落地。业界各大公司正在积极拥抱大模型技术,力求在AI时代保持竞争优势。然而,到目前为止,还未出现通过AI重塑主营业务并创造大量收入的典型案例,表明AI领域需要更长的投资周期,同时伴随着较大的不确定性。在这样的背景下,我们将持续密切关注大模型技术的发展,保持敏感,深入挖掘应用价值,助力业务产生更具规模和领域影响力的AI应用。
2025,新春快乐!
詹坤林 58同城AI Lab高级总监
2025年1月20日
活动推荐
![](http://img.t.sinajs.cn/t5/style/images/face/male_180.png)
![](http://img.t.sinajs.cn/t5/style/images/face/male_180.png)
财经自媒体联盟
![](http://n.sinaimg.cn/finance/pc/cj/kandian/img/article_pic05.png)
4000520066 欢迎批评指正
All Rights Reserved 新浪公司 版权所有