奇富科技朱杰：金融风控技术成熟度曲线全面解读

引言

金融风险管理在金融机构和市场稳定中起着至关重要的作用。通过对各种可能的风险因素进行识别、评估和控制，金融机构能够有效地降低金融风险，保护自身资产和利益，维护市场的稳定和健康发展 。随着金融市场的不断发展和创新，风险管理也变得越来越关健、复杂。因此，以适应日益复杂的市场环境和金融产品，金融机构开始积极探索和应用新的技术来提升风险管理的效率和准确性。

本文将对金融风控技术的成熟度进行综述。我们将介绍金融风控技术的发展历程，随后，我们将讨论当下的风控技术和行业应用情况，以及面临的挑战和未来的发展趋势。

专家介绍：

朱杰 奇富科技风控技术总监

2016年加入奇富科技，目前担任风控技术部负责人，主要负责风控系统的体系建设和管理工作，对风控相关领域应用有深入研究及实践。

01.

金融风控技术的发展历程

金融风控技术的发展历程可以追溯到早期的基于规则的专家系统和基于历史数据的统计模型，到如今的数据驱动、智能化的新技术应用。以下是按照数据层、特征层、模型层、决策层、监控层、业务层和产品层等主要维度展开金融风控技术的发展历程。

1、数据层：

早期阶段，金融风控的数据主要来源于传统的结构化数据，如客户信息、交易记录等。数据存储和处理主要依赖于关系型数据库等传统技术。

进入数字化时代后，随着大数据技术的兴起，金融机构开始收集和利用更多的非结构化数据，如文本、图像、视频等。云计算和分布式存储技术的应用使得金融机构能够更高效地处理和存储大规模数据。金融行业在面临越来越多的数据挑战时，开始应用如NoSQL数据库、数据湖等新技术来应对。这些新技术的应用可以帮助金融机构更有效地处理和分析海量的结构化或非结构化数据，从而提升业务的效率和决策的准确性。如：Hbase、ClickHouse、 MongoDB、Graph等。

数据层在金融风控中是支撑业务的关键，提供了极高的业务价值。尽管在技术实现方面存在一定挑战，但整体技术难度处于中等水平。通过引入数据质量工具和技术、建立严格的数据质量管理流程和标准，采用流式处理技术建立实时监控系统，引入数据脱敏及数据遮蔽技术，搭建严格的数据安全策略和控制措施，可有效解决金融风控中的数据挑战，确保数据质量、实时性、安全性和可靠性，为风控决策提供可靠支持。

2、特征层：

在特征层，金融风控技术需要对数据进行特征工程，提取有效的特征用于建模和分析。在早期的金融风控技术中，特征的选择和提取主要依赖于领域专家的经验和基于规则的方法。

随着数据量的增加和机器学习技术的发展，特征工程也变得更加自动化和智能化。金融风控开始采用更多基于NLP、CV、图等特征工程方法，通过自然语言处理（NLP）技术，对文本数据进行分析，提取关键词和主题，发现隐藏在文本中的信息。利用计算机视觉（CV）技术，对图像数据进行分析，提取图像特征和结构信息，识别图像中的模式和特征。而通过图技术则可以处理复杂的关系数据，发现节点之间的连接和影响关系，从而提取网络结构中的特征。这些技术的综合应用，实现自动发现数据中的模式和特征，从而提高风险预测的准确性和效率，通过特征选择、降维和转换等，这些方法能够自动地从大量的原始数据中提取重要的特征，降低了特征工程的人力成本和主观性。

特征层在金融风控领域中具有独特重要性，其设计和优化直接影响到模型的性能和效果，对于提高风险管理的效率和精度具有至关重要的作用。然而，在特征的挖掘、计算和衍生方面，技术挑战较为显著，比如特征挖掘、特征衍生、特征监控等，需要针对不同情景进行细致研究和应用。解决这些技术挑战将有助于提高模型的性能和预测准确度，进而增强风险管理和决策支持的效果。通过持续的探索和创新，特征层能够更好地应对金融领域的需求，为业务的持续发展提供可靠的数据支持。

3、模型层：

早期的金融风控模型主要基于统计模型和评分卡模型，随着金融业务的复杂化和数据的多样化，这些模型的局限性逐渐显现出来。

进入数据驱动及深度学习时代，机器学习和深度学习技术的应用使得金融机构能够构建更复杂、更准确的风险模型。支持决策树、随机森林、XGBoost等机器学习模型和神经网络、图神经网络等深度学习模型被广泛应用于金融风控领域。这些模型能够处理大规模数据和复杂的非线性关系，并在许多任务上取得了显著的性能提升，并且可以应用于处理图像数据、序列数据和文本数据等不同类型的金融数据。

模型层通过准确预测各种风险类型，捕捉复杂关系，实现自动化和效率提升，实时监测和预警。此外，模型层具有一定的可解释性和可控性，为业务提供透明度和信任度。综合来看，模型层在风险管理中扮演着不可或缺的角色，为机构提供了强大的风险管理支持。然而，实现自动化建模、优化特征工程以及建设高效平台等方面的技术难度相对较高。自动建模需要克服数据复杂性和模型选择等挑战，而特征工程的优化则要考虑数据质量和特征选择等问题。在平台能力方面，需要构建高效、稳定的系统，满足金融风控的实时性和准确性要求。因此，尽管模型层为业务带来了重要的价值，但面临的技术挑战仍需克服和解决。

4、决策层：

金融风控的决策层，作为风险识别、评估和控制的关键环节，在发展历程中经历了从人工经验和规则决策到智能化、自动化的演进。早期，金融风控主要依赖于人工经验和简单规则进行决策，缺乏系统化的风险管理模型和决策流程。随着技术的进步，决策层逐渐迈向智能化的阶段，借助大数据和先进的数据分析技术，能够基于海量数据进行准确识别和评估风险。此外，决策层具备实时监测和动态调整的能力，能够及时响应市场变化和风险事件。智能决策引擎的引入使得决策流程自动化和标准化，提高了决策的效率和一致性，降低了人为因素带来的误判和偏差。综上所述，金融风控决策层的演进体现了从依赖人工经验到智能化、自动化的发展趋势，为金融机构提供了更加高效和精准的风险管理能力。

金融风控的决策层在权威性、综合考量多方因素、灵活性和及时性、透明度和合规性，以及数据驱动的决策等方面，为机构提供了有效的风险管理和决策支持，其提供的业务价值不可忽视。决策层的作用主要体现在业务决策、风险控制等方面，对金融机构的运营和发展至关重要。尽管技术难度相对中等，但其在业务流程中的关键性作用依然是不可替代的。因此，有效地构建和优化决策层，将有助于提升金融机构的风险管理水平，提高业务效率，实现更好的经济效益。

5、业务层：

在早期阶段，金融风控主要依靠传统的手工操作和人工审核，业务主要集中在传统的信贷审核、欺诈检测和风险预警方面。随着技术的不断发展，金融风控逐渐朝着智能化方向发展，业务层开始引入了大数据分析、机器学习和数据挖掘等技术。这使得风控业务从传统的静态风险评估转向了动态的风险监控和实时预警，通过对大规模数据的分析和建模，实现了对客户行为和风险事件的智能识别和预测。随着技术的进步，业务层开始引入更先进的人工智能技术，如深度学习、自然语言处理和图像识别等。这使得金融风控业务逐渐实现了自动化和智能化，通过智能风险模型、智能风控系统等技术手段，实现了对风险的自动识别、智能决策和实时监控。这些技术的应用使得金融机构能够更加高效、精准地管理风险，提高了业务的安全性和稳定性，为金融行业的发展提供了有力支持。

在金融风控中，业务层负责理解和把握市场环境、客户需求以及机构自身的战略目标，从而确定风险管理的重点和方向。业务层的决策直接影响到风险管理策略的制定和实施，因此具有重要的战略意义。然而，由于金融环境的复杂性和多样性，业务层在不同场景、阶段、客群、周期和数据方面的应用难度相对较高，具有一定的挑战性。为了应对这些挑战，需要不断优化业务流程，加强数据分析和决策能力，以确保业务层在金融风控中发挥最大的作用，实现更好的业务效果和风险控制。

6、产品层：

随着低代码开发技术的出现，金融风控产品开始朝着低代码方向发展。在风控的多个环节，如数据处理、模型构建、决策执行等方面，提供了可视化的界面和组件库，使得开发人员可以通过简单的拖拽、配置等操作来完成开发任务。同时，这些产品也向平台化方向发展，提供了完整的开发、部署和管理环境。这些平台化的风控产品包括了数据接入、模型训练上线、决策执行等一系列闭环功能，从而满足了金融机构对于全方位、一体化风控解决方案的需求。此外，通过数仓治理与建设，这些平台还能够联动相关的BI工具，实现了可视化数据分析功能，为风控决策提供了更加直观和全面的数据支持。

在金融风控的产品层，其重要性在于开发和优化风险管理工具，提供定制化服务和解决方案，推动创新产品和技术应用，确保合规性和风险控制等。这些功能为机构提供了全面的风险管理支持，为应对市场变化和创新需求提供了有力保障。然而在工具研发及技术应用中，为了实现高性能、低代码、平台化等技术目标，面临一定的技术挑战。这需要持续提升技术水平，加强团队的技术能力培养，并积极采用先进技术和工具。通过不断优化和创新，产品层能够更好地满足金融风控领域的需求，提高效率和性能，推动行业的发展和进步。

02.

风控关键技术及行业应用

1、数据存储与处理：

包括传统的关系型数据库、NoSQL数据库、olap引擎、图数据库等技术，用于存储和管理金融风控所需的数据。大型金融企业通常拥有海量的数据和复杂的数据类型，因此在关系型数据库之外，更倾向于使用图数据库及NoSQL数据库和OLAP引擎的结合，这些企业已经成熟地应用这些技术来处理大规模的结构化数据和进行复杂的多维数据分析，并且在数据处理方面会通过结合Flink采用流批一体技术实现，金融风控系统可以实现实时性和准确性的平衡，同时能够处理大规模的数据和复杂的分析任务。中小型金融企业规模较小，但仍面临较大的数据处理挑战，他们可能会更多地倾向于使用关系型数据库来处理不同来源和类型的数据，以应对高并发和结构化数据的存储和处理需求，图数据库和NoSQL数据库目前在中小企业内部还处于成长期。

大企业和中小企业在数据存储与处理的差距在金融风控的数据分析和建模场景尤为明显。大企业通常拥有完善的数据基础设施和强大的计算资源，能够应对海量数据的存储、管理和处理需求。他们可能采用分布式存储系统、高性能计算平台和大数据处理框架，以满足复杂的数据分析和建模要求。相比之下，中小企业由于资源和技术限制，大规模数据处理效率不高，可能仅能采用简单的数据处理工具和方法，限制了其在数据分析和建模方面的能力和效率。

2、特征加工与应用：

 包括NLP特征方法、CV特征方法、图特征方法、RFM特征方法、时序特征方法等，用于从数据中挖掘特征和模式。对于大型金融企业，它们在特征挖掘、衍生、计算、应用、回溯、监控等方面已经实现了非常成熟的应用，甚至已经建立了特征挖掘到上线的全流程闭环。而中小型金融企业目前大部分仍处于发展阶段，可能需要进一步提升技术水平和建设相应的风控系统，以满足业务发展和风险管理的需求。

在金融风控中，大企业和中小企业在特征加工与应用的差距主要因为大企业由于拥有更多的数据源和更丰富的技术资源，能够进行更深入和全面的客户画像分析，包括从传统的结构化数据到非结构化数据的多维度特征提取和挖掘，以及更复杂的特征衍生和转换。相比之下，中小企业因技术和人才资源等限制可能只能依赖有限的数据源和简单的特征工程方法，无法获得同样全面和精细的客户信息，导致风险评估的准确性和可靠性也存在一些差异。

3、模型算法与应用：

常见的机器学习模型框架，如决策树、随机森林、XGBoost、LightGBM、SVM、K-Means、评分卡以及深度学习模型框架，如神经网络、大语言模型、图神经网络等。大型金融企业已经成熟地运用各种机器学习模型框架搭建模型的训练能力，尤其是XGBoost、LightGBM等在风险评估和信用评分方面的应用较为广泛。同时，深度学习相关框架如图神经网络也正处于热门应用期间，被用于处理复杂的图结构数据。一些企业已经实现了自动建模的平台能力，完成了模型训练、评估、部署、监控等全流程操作，并且可支持多种模式的集成。而中小型企业的自动建模能力目前还处于成长阶段，需要进一步提升技术水平和建设相应的模型训练平台。

大企业和中小企业在金融风控领域的差距主要因为大企业通常拥有更丰富的技术和人才资源，能够投入更多的资金和人力进行技术研发和人才培养。他们可以吸引顶尖的数据科学家、算法工程师和风险分析师，从而拥有更丰富的模型算法库和更先进的模型调优技术。大企业拥有更完善的技术基础设施和更强大的计算资源，能够支持大规模数据的处理和分析，实现模型的实时训练和部署，以及实时风险监测和响应。相比之下，中小企业可能由于技术和资源限制，难以实现模型的实时性要求，导致风险识别和应对的速度相对较慢。大企业有更多的资金和资源用于技术创新和研发投入，能够开展更多的前沿技术研究和应用探索，推动金融风控技术的不断进步和创新。相比之下，中小企业可能受限于资源的限制，难以进行大规模的技术创新和研发投入。

技术和人才资源、基础设施和计算资源、创新和研发投入等这些差异也导致了大企业在模型算法和技术应用方面拥有更大的优势，能够构建更复杂、更准确的风险模型，并且能够实现更快速、更实时的风险监测和应对。

4、决策支持与回溯：

主要包括决策树、孤立森林、异常点检测、最优化算法、规则集、决策表、决策矩阵、评分卡、表达式等。在大型金融企业中，除了相关算法外，基于Blaze、Drools、Groovy等技术实现了规则管理、决策编排、审批管理等功能的平台。这些平台提供了规则回溯的实验平台能力，帮助企业进行决策流程的优化和改进。金融风控领域正处于技术和方法的更新换代阶段，大型金融企业已经开始广泛应用新兴技术和平台，而中小型企业则需要逐步跟进，持续进行平台能力建设。

大企业和中小企业在决策支持与回溯的差距除了资源与人力以外，主要体现在数据量和质量上，大企业拥有更丰富的数据资源和更先进的数据采集、清洗、处理技术，能够获取更全面、更准确的信息，从而支持更精细化的决策和回溯分析。大企业通常在技术平台和工具支持、人力和专业知识等方面投入更多资源，这会导致它们在风险的准确率、覆盖率、及时性等方面具有明显的优势。

03.

金融风控技术的挑战

1、数据质量与完整性：

数据质量和数据完整性是金融风控技术面临的主要挑战。主要包括以下几个方面： 

数据来源的多样性：获取的数据来自多个来源，包括内部系统、外部数据提供商等，这些数据可能以不同的格式、结构和质量呈现，增加了数据集成和清洗的复杂度。

数据质量不一致： 不同数据源之间存在数据质量的不一致，如数据格式错误、缺失值、异常值、重复数据等，这些问题会影响数据的准确性和可靠性，进而影响到风险评估、决策的准确性。

数据缺失和不完整： 金融数据中常常存在缺失值，这可能是由于系统故障、人为录入错误、客户不愿提供某些信息等原因造成的。缺失值会影响数据分析和建模的准确性，需要合理处理。

数据处理的复杂性： 金融数据通常具有复杂的结构和关联关系，需要进行数据清洗、转换、归一化等预处理工作，以满足风险模型的需求。这些数据处理过程可能非常耗时和复杂，需要专业技术人员和高效的工具支持。

基于以上挑战，可以采取以下解决方案

建立完善的数据质量管理体系： 通过建立数据质量管理体系，包括监控、评估、清洗、验证和改进等环节，可以系统地管理和提升数据的质量水平。这有助于发现和解决数据质量问题，确保数据的准确性和可靠性。

引入数据集成和清洗工具： 数据集成和清洗工具可以帮助对多源数据进行统一处理和清洗，包括数据格式转换、去重、缺失值填充等操作。这些工具可以提高数据处理的效率和一致性，减少人工干预，降低错误率。

建立数据监控机制： 建立数据监控机制可以定期检查数据质量和完整性，及时发现和处理异常情况。通过监控数据的变化和趋势，可以预警潜在的数据质量问题，及时采取措施加以解决。

自动化工具和算法： 引入自动化工具和算法可以提高数据质量管理的效率和准确性。例如，利用机器学习算法识别和纠正数据质量问题，可以大大减少人工干预，加快数据处理的速度，提高数据质量的水平

2、特征挖掘与应用：

特征选择和特征工程是金融风控技术面临的挑战之一。如何从海量数据中筛选出最具预测能力的特征，并将其转化为可供模型使用的形式，是一个复杂而关键的问题，主要包括以下问题：

特征选择：从海量的数据中选择合适的特征对模型的性能至关重要，但如何有效地进行特征选择是一个挑战。

数据稀疏性：在某些情况下，数据可能非常稀疏，这会导致特征挖掘困难，需要采取合适的方法来处理稀疏数据。

特征解释性：一些复杂的特征无法很好地解释其对预测结果的影响，降低了模型的可解释性。

基于以上挑战，可以采取以下解决方案

特征选择：使用特征选择算法，如相关性分析、方差选择法、递归特征消除等，筛选出对目标变量具有最大影响力的特征。

数据稀疏性：采用稀疏表示方法或降维技术，如主成分分析（PCA）或特征压缩方法，来减少数据维度并降低数据稀疏性带来的影响。

特征解释性：选择可解释性较强的特征，避免使用过于复杂或难以解释的特征，同时可使用模型解释工具或可视化方法来解释模型中的特征重要性。

3、模型的准确性和稳定性：

在模型层面，金融风控技术面临着模型解释性、模型稳定性、以及模型复杂度和效率之间的平衡问题。主要包括以下问题：

样本不平衡： 在金融领域，正常交易和异常交易的比例通常是不平衡的，这会导致模型在预测时偏向于预测正常情况，反而对异常情况的识别能力较弱。

概念漂移： 金融市场的环境和规则经常发生变化，导致模型训练时的数据分布与实际应用时的数据分布不一致，从而影响模型的预测效果。

模型复杂度和解释性： 一些复杂的模型如深度学习模型在提高准确性的同时，也增加了模型的复杂度和不可解释性，难以为业务决策提供解释。

模型集成： 多个模型集成和协同工作可能会增加系统的复杂性和不稳定性

基于以上挑战，可以采取以下解决方案

模型异常识别能力：可以通过采用重采样技术、代价敏感学习、集成方法、生成对抗网络等方法，可以有效解决金融领域中样本不平衡问题，提高模型对异常情况的识别能力。

模型稳定性提升：通过监督式重新训练、领域自适应方法、在线学习方法、特征选择和降维、监控和反馈机制等方法，可以有效缓解金融领域中概念漂移问题，提高模型的稳定性和准确性。

模型选择与调优： 在模型选择阶段，选择合适的机器学习算法和模型架构。在模型调优阶段，通过交叉验证、超参数调整等技术，优化模型的性能，提高其准确性和稳定性。

集成学习方法： 使用集成学习方法，如随机森林、梯度提升树等，将多个模型组合起来，以提高模型的整体性能和稳定性。集成学习方法能够降低单个模型的过拟合风险，提高模型的泛化能力。

模型监控与维护： 建立模型监控系统，定期监测模型的性能和稳定性，及时发现模型出现的问题，并采取相应的调整和优化措施，以确保模型的持续有效性。

4、智能决策：

在决策层面，金融机构需要面对风险决策的复杂性和不确定性。如何在不确定的市场环境下做出及时、准确的决策，是金融风控技术面临的重要挑战之一。主要包括以下问题：

复杂多变的风险环境： 金融市场和产品的复杂性和多样性使得风险环境随时可能发生变化，需要及时调整和优化规则以应对不断变化的风险。

规则的灵活性和适应性： 规则决策需要具备一定的灵活性和适应性，能够根据不同的业务场景和风险情况进行调整和优化，以满足不同业务需求和风险管理要求。

决策效率： 随着技术的发展，规则决策需要实现自动化和智能化，能够通过算法和模型自动诊断和调优规则，提高规则决策的效率和准确性。

规则的监控和管理： 规则决策需要建立完善的监控和管理机制，及时发现和处理规则异常和失效情况，确保规则的稳定性和可靠性。

数据的质量和可用性： 规则决策需要依赖大量的数据支撑，因此需要确保数据的质量和可用性，包括数据的准确性、完整性、时效性等方面。

基于以上挑战，可以采取以下解决方案

规则优化与自动化： 利用数据挖掘和机器学习技术，对规则进行优化和自动化。通过分析大量历史数据，识别规则的优化空间和潜在改进点，并利用算法和模型自动调整和优化规则，提高规则决策的准确性和效率。

智能决策平台： 建立智能决策平台，集成规则管理、模型管理、数据分析等功能，实现规则决策的自动化和智能化。通过平台化的方式，提高规则决策的管理效率和决策质量。并建立好规则的自动回溯能力。

实时监控与反馈： 建立实时监控系统，对规则决策的执行情况进行实时监控和反馈。及时发现规则失效、异常情况，采取相应措施调整规则，确保规则决策的稳定性和可靠性。

规则管理与优化： 建立完善的规则管理体系，包括规则库的建设、版本控制、审核审批流程等，确保规则的准确性和一致性。同时，定期对规则进行评估和优化，根据实际业务需求和风险情况进行调整和优化。

5、监控及预警：

监控层面的挑战主要包括对市场风险和操作风险的实时监控和预警。金融市场的波动性和复杂性使得风险监控成为一项极具挑战性的任务。主要包括以下方面：

数据实时性与准确性要求： 风险识别对数据的实时性、准确性要求很高，所以需要有实时监测风险情况的能力，并及时发出预警信号。

监控体系不完善：数据质量和一致性导致清洗困难、指标选择不当或定义不清晰可能导致监控体系不完善或失灵、如何提取有用信息并进行实时监控、部分指标的监控可能需要借助模型进行计算或预测等。

预警准确性与误报率： 预警系统需要准确地发现异常情况，同时也需要避免误报。

基于以上挑战，可以采取以下解决方案。

智能化监控技术： 引入机器学习和数据挖掘等技术，构建智能化的监控系统，能够自动学习和识别风险模式，提高监控系统的准确性和效率。

实时数据处理与分析： 建立实时数据处理和分析系统，能够及时捕获和处理海量数据，并实时分析数据，及时发现潜在的风险事件。

多维度指标监控：综合运用数据治理、数据挖掘、机器学习等技术手段解决多维度指标监控面临的一些特有的难题，并结合业务专家的经验和判断，建立完善的多维度指标监控体系。

预警模型优化： 优化预警模型，提高预警的准确性和及时性，同时降低误报率，确保真正重要的风险事件能够被及时识别和处理。

04.

金融风控技术未来发展趋势

金融风控技术的发展趋势可能会更加智能化、数据化、个性化，并且涉及更多跨领域的融合与创新，以适应金融市场的不断变化和风险挑战。大模型在金融风控领域的应用可能会对一些传统的风控技术产生影响，并促使一些技术更可能被挑战，同时也会加强一些技术的重要性。

更可能被挑战的技术： 

传统基于规则的风险管理系统： 大模型能够通过学习数据自动发现规律和模式，因此在某些场景下，传统的基于规则的风险管理系统可能会被大模型所挑战，将传统规则系统和大型语言模型相结合起来，以充分发挥它们各自的优势。

传统的统计模型： 大模型在数据分析和预测方面表现出色，可能会逐渐取代一些传统的统计模型。传统的统计模型可能无法处理大规模和复杂的数据集，而大型模型能够更好地捕捉数据之间的复杂关系，因此在某些情况下可能更受金融机构的青睐。

手工特征工程： 大模型能够从原始数据中学习到更丰富、更复杂的特征表示，因此在某些文本数据挖掘的场景下，手工特征工程可能会被大模型所挑战。

总体来说，大模型目前虽然在自然语言处理领域取得了显著进展，但在风控核心领域应用仍面临一些挑战，现在和风控的结合点更多是作为风控技术的补充或辅助工具，因此，目前大模型更多地用于技术及业务提效等方面。随着技术的不断发展和完善，相信大模型在风控领域的应用会逐步深入和扩展。

05.

总结

金融风控技术的不断发展和应用为金融机构提供了更强大的风险管理能力，有助于提高金融市场的稳定性和健康发展。随着技术的不断创新和金融市场的不断变化，金融风控技术将继续发挥着重要的作用，成为金融机构提升竞争力和风险管理能力的重要手段。尽管新技术为风险管理带来了许多机遇，但它们也面临一些挑战和风险。数据隐私和安全性、技术集成、以及对人才的需求等都是需要克服的障碍。因此，金融机构在采用新技术时需要权衡利弊，并制定合适的策略来确保风险管理的有效性和稳健性。