2023年10月13日-15日，以“云原生和大模型革新IT生产力”“金融信息技术应用创新服务保障”为主题的2023第六届双态IT乌镇用户大会成功举办。本次会议由ITSS分会、证券基金行业信息技术应用创新联盟指导，ITSS数据中心运营管理组（DCMG）、双态IT论坛、智能运维国标工作组主办，ITSS媒体组、AI范儿协办，共有来自金融、央国企等行业的500余人到场出席。中信银行软件开发中心副总经理冷炜带来《中信银行测试大模型探索与实践》主题演讲。
以下为实录全文：
大模型是人工智能发展道路的重要里程碑。AI在不断发展，不断进化。从专注于某一具体任务的“小模型”进化成为可以同时处理多种任务的“大模型”，它对我们的思维、生活、工作和文化产生了深远的影响，同时，这个过程即是机遇也是挑战。中信银行在测试大模型方面也进行了很多探索。
在数字化转型的大背景下，在软件定义一切的大趋势下，各行各业，尤其是软件测试人员，需要接触和理解的信息越来越多，并呈现加速增长的态势。其实，我们大脑接收信息就像淘金人一样，过滤矿砂越多留下金子越多，与此不同的是人类大脑对信息技术的分析处理一旦超过阀值就会崩溃。
我们面对的行业信息越来越多，需求越来越大，交付周期越来越短，受制于体力和能力的测试员的测试效率和质量很难同步快速提升，同时现在大型企业里面的业务流程设计和信息化分工也是阻碍我们继续学习和探索应用的壁垒。
面对银行的复杂流程，怎么突破测试人员个人能力和智力的限制？如何提高测试人员效能？是我们一直在思考的问题。基于AI大模型技术和高质量的资产数据，中信银行在软件测试领域打造了私域测试大模型——“第二大脑”，探索在软件测试生命周期多个环节，辅助测试人员提升测试质量和效率。建设和优化“第二大脑”这一模型的过程我们分为三个阶段：
第一阶段是数据的清洗和过滤。通过整理测试领域内所有结构化数据（例如测试过程数据、结果数据、历史数据等）和非结构化数据（例如文档、图片、视频等）形成知识语料库。经过数据初筛，再由数据专家进一步精筛，得到可供大模型使用的高质量数据；
第二阶段是数据编织。采用数据编织技术分层管理数据，由数据专家和测试业务专家共同标注标准并形成规范，最后由测试专家针对不同语料归纳整理提示词；
第三阶段是模型的监督微调训练。即让模型学习提示词的意图，按照不同的语料，生成不同私域场景模型，最后在测试知识语料库和大模型算法的基础上生成测试知识的向量库，经过不断调整和优化形成较为稳定、可靠的私域场景模型。
随着大模型应用不断落地，对各行各业的冲击不断呈现出来，对软件行业的工艺也产生了深远影响。在对大模型的探索和思考中，我们认为AI大模型对软件测试工艺的影响主要会经历三个阶段。
短期来看，目前是辅助测试的角色，AI辅助人类测试，对测试案例、测试脚本、测试数据、测试方案、测试报告设计等辅助生成指定模块和任务；中期来看，预计未来1—3年，AI大模型将是主笔测试的角色，即可以完成简单测试任务的设计、执行和分析。人类完成复杂任务到简单的拆解，检查AI输入输出，指导AI修复问题；长期来看，未来3—10年，AI大模型将转变成主导测试的角色，即AI根据测试需求拆解并完成测试案例设计、测试脚本编写等任务。人类明确提出要求，进行整体验收。
AI大模型角色在不断发生转变，测试工作模式也随之发生改变。现阶段主要有三种协同工作模式。
一是伙伴模式。我们可以把一些高频常见的、重复性任务交给AI。由我们的工作安排和指令完成相应的工作，从而解放我们体能，简单来说就是可以让我们用同样的时间做更多的事情；
二是管家模式。大模型通过不断训练强化反馈学习，了解我们整个工作流程里每个人工作习惯，处理我们诸多的日常问题，如工具安装配置、环境维护和选择等。管家模式是能让我们测试人员注重最核心最高价值的工作，而把其他的我们认为低价值，低成本的工作剥离给AI完成；
三是专家模式。AI大模型通过海量知识学习，可以给出一些方案、策略方面比较专业的建议，以辅助我们工作。这种模式的特点是让我们能够用更高的效率、更高的质量完成我们最核心的、最有挑战的工作。
在中信测试大模型的探索过程中，我们一直思考它的本质是什么？测试大模型应用和我们在大型软件研发组织里面的形成体系化能力的三个关键支柱异曲同工。大模型的三大重要支撑要素是工具、资产和人员。
一是工具，它是测试大模型最关键的核心底座。在大模型的应用和大模型私域模型的训练过程中，标准化、线上化、数字化、智能化的手段必须要有一定成熟度。
二是有效的、丰富的、高质量的资产。资产某种意义上就是让工具能够更有效运转的燃料，我们主要是说数据资产。中信银行经过多年探索积累了相当数量的数据测试的资产，大模型的优化基于这些数据资产，已经取得了一定的成果。
三是人员。人员是推动测试大模型未来进化的核心和关键。基于人员的变化，未来的测试人员分为三类人。第一类人是注重体力劳动且不能有效的运用AI能力的人，他们最终会被AI淘汰；第二类人是能够跟AI大模型能力有机结合的人；第三类人分为两种：应用AI人、AI驾驭者。应用AI人，即熟练地应用AI大模型能力来协同自己工作，辅助提高工作的效能和质量。AI驾驭者，则是顶尖的，有控制力的。
未来，测试人员必须尝试接受AI，也要不断学习，摆脱被淘汰的可能性。最后，希望AI能够更多地开发我们的智力。大模型现在处于火爆状态，各行各业对于大模型的应用都呈现出跃跃欲试的状态。在大模型的探索和应用方面，中信银行从需求、设计、编码到测试，甚至到我们的二线运维监控，在所有环节都做了大量的应用大模型技术的尝试，且都有不同程度的惊喜。并且，不管遇到什么样的局限和挑战，我们应该以一种积极的态度共同向前探索，甚至互相分享我们的成果。
