自2022年11月面世以来，ChatGPT已经吸引了全球范围内的广泛关注。其底层技术大模型，也获得了银行业自上而下所有人员前所未有的关注度。
01 相较于传统AI小模型，大模型具有以下三大核心优势：效率提升，个性化输出和交互能力
图1：大模型三大核心优势
大模型支持非结构化数据集训练，冷启动效率高。在模型构建过程中，小模型依赖于专家经验进行特征工程与模型调整。相较之下，大模型在构建阶段能自动从海量非结构化数据中学习，实现更快速地构建模型、处理数据及生成结果，显著提升冷启动效率。
大模型能够为每个使用者提供超个性化内容输出。大模型极大提升了个性化需求识别与内容输出任务的工作效率。大模型能够通过学习个体数据与反馈，依据个体需求、上下文关系，创造生成全新的、自洽的图形、文本甚至代码进行回复，实现超个性化内容输出，为用户提供更精准的定制化解决方案。
大模型具有强大的问题理解能力。小模型在回答问题时往往缺乏对上下文的理解，导致答案相关性较低，表达机械化。而大模型具备更强的自然语言理解能力，能够根据上下文，拆解复杂任务，更精准地理解需求。
02现阶段，在银行市场营销、运营管理场景下，大模型能够充分发挥优势
大模型在银行的应用领域可以覆盖从前台到后台的各个环节。银行的每条业务线、每个职能部门，都有可能挖掘大模型的应用潜力。在安全可控的前提下，一旦在银行实现大规模应用，将有望带来显著的成本降低和效率提升。
图2：现阶段大模型在银行价值链的应用
在应用探索初期，银行规划大模型落地时，通常优选少量场景先行试水、循序渐进。在早期试水场景的选择上，需着重考虑大模型落地可行性，以及是否提升全员感知度并在组织内起到示范效应。现阶段银行主要将大模型应用集中在市场营销，运营管理两个环节。
在市场营销环节，大模型的个性化输出和交互能力可在客户经理实时辅助场景中，助力售前业务拓展。在财富管理领域，理财客户经理常常需要处理大量产品文档，熟悉各类产品的特性以及目标客户群体。在与客户的互动中，客户经理需要准确把握客户的需求，为其提供量身定制的投资产品规划，从而留下专业的印象。如何精准理解客户需求、如何挑选符合需求的产品等关键问题，直接关系到业务拓展的成功率。
在大模型出现之前，尽管银行在知识库方面已有相对成熟的体系，但应用方式较为机械，效率有限。大模型的引入，有助于挖掘知识库上层应用的价值，通过其个性化输出和交互能力，助力理财客户经理提高服务质量，从而提升业务拓展的成功率。
DataOps 是面向数据全生命周期的数据开发运营一体化理念，通过对数据相关流程制度、工具的重新组织，构建集治理、开发、运营于一体的自动化数据流水线。
图3：大模型与知识库结合提高效率
例如，某银行采用大模型与知识图谱相结合的理财经理问答辅助工具，实现了知识获取效率提高50%，业务成功率提升15%。在售前环节，该辅助工具借助大模型的理解能力，概括客户需求，然后根据4K模型，包括客户画像、资产配置、市场行情和产品内容，生成针对这些需求的产品和话术建议。超个性化的产品推荐能够精准触达客户痛点，专业的话术建议则提升了理财经理的专业素养，有助于建立信任关系。大模型辅助工具能协助理财经理与客户沟通，提高销售效率。同时，当遇到通用问题，如专业知识、法律法规或竞品信息等方面问题时，理财经理也可以在此搜索。理财经理问答辅助工具会以通俗易懂的语言解释复杂的专业问题，供理财经理为客户提供解答，问题解决率相较于传统知识库有大幅提高。
在运营管理环节，大模型可以用于知识文档问答场景中，助力工作效率提升。在传统内部知识文档助手的使用上，银行需要人工整理FAQ，并训练小模型，随后持续地进行系统的维护和优化。但由于它主要依赖预先设置的答案进行训练，知识助手只能够识别较短的语句内容，并提供知识库中的标准回答。在实际应用中，还会频繁出现语义解读错误，从而给出不精确的答案。此外，这类机器人对话交互能力较差，无法进行文本摘要、内容扩展或文本润色作业。用户需要在检索文档后，手动浏览获取相应信息。
引入大模型后，银行无需提前配置任务型的问答流程，用户可以在查询时采用自然语言进行交互。基于策略不同，大模型不仅能够推理并生成回答，同时还可以完全基于FAQ给出答复，从而提供更准确的回答。同时，加入大模型后，知识文档问答助手还可综合多个文档内容，为用户提供总结性、个性化的问题解答。
近期，某头部城商行已将自研的大模型财报助手进行了内部测试，赋能业务人员将报告撰写时间从小时级降至分钟级。在大模型微调环节，该城商行使用由采购数据库，公开数据，以及内部私有化数据组成的金融企业级知识库，向大模型输出高质量、精准的知识供给。在应用环节，充分使用大模型的强交互能力，将用户输入的需求进行拆解，并将拆解后的步骤转化为代码输入其他业务子系统或小模型进行调用。
例如，大模型将用户输入的自然语言转化为查询语言进行知识图谱搜索，现阶段该环节精确度在90%以上。此外，大模型还可以将召回的内容进行二次加工，呈现给用户。例如，财报助手能够以特定维度，对产品进行分类，并获取近几个月各产品收益率，再汇总以表格的形式或其他结构化的数据形式进行输出。
在该城商行的实践过程中，调查发现业务人员对提示词工程标准化需求表现出较高的关注度。因此，该行已构建了提示词工程平台，以标准业务场景为基础，以结果易用性为导向，拟定符合标准的大模型提示词进行沉淀复用。此外，该提示词工程平台还支持对比不同提示词的效果差异。
该城商行自2023年2月开始内部调研需求场景并设计大模型系统架构，至2023年9月已发布两版大模型财报助手。第一版发布于6月，以政策经济解读，分析报告撰写为主，第二版发布于8月，开始全面内测，增强了运营分析、辅助决策类功能。
图4：城商行大模型落地规划
在大模型落地规划中，该城商行以财报助手为抓手，首先让大多数业务人员能够快速体验到大模型带来的办公效率提升。未来，该行将进行横向与纵向两个方向的落地探索。纵向上，将财报助手从归纳能力向分析能力升级，探索企业运营分析、企业盈利能力分析、企业资产质量分析等场景。横向上，将财报助手的能力向其他业务方向进行拓展，以效率提升为目标，优先探索理财投顾、贷后企业经营状况分析、智能客服辅助等对内服务场景的应用。
03大模型在银行应用落地仍面临两大难点：大模型幻觉、答案时效性
大模型幻觉问题无法解决之前，大模型应用将以对内为主，暂时无法面客。虽然大模型意图理解能力已经能够达到90%以上，但是在回答时，大模型幻觉问题暂时无法完全解决。这使得大模型应用都需要在人工监督的情况下使用。现阶段，大模型输出准确度能够做到70%-80%左右。由于银行对准确性、可控性要求较高，大模型面客应用都暂时无法落地。
目前，银行对于大模型幻觉问题主要有两种解决方案：
1. 对答案进行二次人工审核后，进行应用。
2. 与知识库结合，通过提示词工程，限制大模型严格使用知识库内的文档内容进行回答，在无响应答案时，阻止大模型回答该类问题。
大模型知识更新慢，但与外挂知识库应用结合后可暂时解决该问题。大模型答案时效性问题虽然未根治，但是已有解决方案。大模型需要将最新数据通过预训练方式灌注到模型中，因此很难囊括最新知识，其回答内容的时效性也受到限制。比如现阶段GPT4基于2022年1月之前的数据进行训练，因此，询问2022年中国GDP数据时，GPT4无法提供答案。
为解决大模型答案时效性的问题，企业通常使用外挂知识库的方式，将大模型与知识库进行融合。例如，当银行业务人员有最新数据需要分析时，用户可以上传最新文档，将文档纳入知识库。当天即可针对该文档进行问答。但实际上，这并不能从本质上解决大模型时效性的问题，因为知识库的更新维护也需要人工进行，这种方案只是将“更新大模型”，转变成“更新知识库”。
04大模型与小模型各有优势，为取得示范效应，需要强强联合
图5：大小模型区别对比
大模型冷启动成本较低，泛化能力强，而小模型的可解释性以及准确性均在大模型之上。因此，在原有小模型的基础上，发挥大模型的优势，才能更好的释放应用价值。例如在智能客服场景下，构建阶段使用大模型将数据结构化，能够加快小模型冷启动速度。在应用阶段使用大模型进行复杂问题的拆分，能够协助小模型更精准的输出答案。最后，在生成类场景下，大模型的创造性输出能力能够弥补小模型在这方面的不足。两者联合，在短时间内能够在组织内部取得示范效应。
由于银行各应用场景对可解释性，准确性要求较高，现阶段大小模型结合落地主流方式有两种。第一种为将大模型与小模型进行级联。例如使用大模型从复杂数据源中抓取客户历史交易记录，沟通信息等，对数据进行自动打标，并输出结构化数据，用以丰富小模型数据集，提高小模型预测效果。第二种为使用大模型作为小模型解决问题的中枢大脑。例如利用大模型将复杂问题拆解为解决步骤，并在各步骤调用小模型能力，最后通过大模型进行总结性输出。
未来，除了较为通用的大模型落地应用，如对非结构化数据进行结构化输出，代码助手等，各银行在积极探索其他应用方向。银行面对强监管，对信息准确性要求较高，在大模型幻觉没有彻底解决办法之前，银行核心系统无法部署大模型应用，未来将以非核心系统应用作为探索方向。主要应用大模型对复杂内容的理解能力，达成效率提升。
在面客应用方面，大模型与小模型的级联结合为银行电销坐席开辟了新的探索方向。现阶段大模型电销坐席的落地有两大难题，首先，大模型幻觉问题无法解决，其次，大模型推理答案需要一定时间，而语音通话场景对延时要求较小，大模型无法满足。上述问题均由于大模型负责“生成回答”而产生，如果运用大模型“选择回答”则可以避免问题。银行可以设置能够通过合规审核面客使用的FAQ问答对，并录制语音。大模型负责面客时理解客户问题，并在FAQ中选择最贴切的回答进行输出。最后根据客户回答，判断客户是否有贷款意图，并进行客户标记。由于该未探索方向中，回答的灵活性相对较弱，未来将在沉睡客户唤醒场景优先落地实验。
在事件驱动的风险预警方面，大模型与小模型的级联为偿贷能力告警提供了新思路。现阶段，企业依托时序知识图谱，能够将金融风险事件链条进行完整梳理，并在新风险发生前进行告警预判。而大模型能够在前端实时监控新事件的发生，在相关事件发生时，理解事件内容，综合企业经营情况，与时序知识图谱进行多轮交互，判断事件链条，模拟风险演化并进行告警。
综上所述，大模型在银行业将由点及面进行落地推广，从用例开发，到场景拓展，最后形成端到端的全流程应用。未来，在大模型能力建设上，银行将持续关注由出口管制引起的智算中心建设问题，以及为与大模型输入语料息息相关的数据能力建设问题。
