来源：google-Secure AI Framework Approach
编译：智成企业研究院 崔帅
安全人工智能框架(SAIF)是安全人工智能(AI)系统的概念框架，它的灵感来自于谷歌应用于软件开发的安全实践——比如审查、测试和控制供应链，同时结合了我们对人工智能系统特定的安全大趋势和风险的理解。SAIF提供了一种实用的方法来解决安全和风险专业人员最关心的问题，例如：
- 安全：访问管理、网络/端点安全、应用/产品安全性、供应链攻击、数据安全、AI特定威胁、威胁检测和应对
- AI/ML模型风险管理：示范透明度和问责制、检测异常的易出错的人工评审、数据中毒、数据沿袭、保留和治理控制
- 隐私和合规：数据隐私和敏感数据的使用、新兴法规
- 人员和组织：人才缺口、治理/董事会报告
快速指南将提供高层次的实际考虑，说明组织如何将SAIF方法构建到现有的或新的人工智能中，并深入探讨SAIF的六个重点关注的核心要素:（1）为人工智能生态系统扩展强大的安全基础（2）扩展检测和响应，将人工智能纳入组织的威胁模型（3）自动化防御，以跟上现有和新威胁的步伐（4）协调平台级别的控制，以确保整个组织的一致安全性（5）调整控制以调整缓解措施，并为人工智能部署创建更快的反馈循环（6）将AI系统风险置于周边业务流程中
下载完整PDF报告，关注“智成企业研究院”,在号内对话框回复：安全AI框架
将SAIF付诸实践
第一步 -了解用途
许多机构正在考虑首次采用人工智能，或者扩展他们必须利用新的生成式人工智能(Gen AI)功能。在这些情况下，理解AI解决的特定业务问题以及训练模型所需的数据，将有助于推动SAIF的部分策略、协议和控制的实现。例如，设计用于分析现有数据的模型，如总结分析师报告或检测欺诈的模型，与用于预测消费者融资的模型(如信用风险模型)相比，可能涉及的复杂问题较少，后者涉及消费者和消费者保护义务。
另外，模型如何与最终用户交互也起着重要的作用。例如，与用于股票交易的模型相比，外部公开的接受最终用户输入的AI模型对安全性和数据治理有不同的要求。与此同时，使用来自第三方的预构建模型，而不是开发和/或培训自己的模型，也将在保护基础设施和开发平台、监控模型行为和结果、威胁检测和保护等方面产生不同的影响。
因此，彻底理解AI将确保SAIF能够捕获特定部分部署的复杂性和风险。
第二步 -组建团队
开发和部署人工智能系统，就像传统系统一样，是多学科的努力，包括大量的元素，如风险评估、安全/隐私/合规性控制、威胁建模和事件响应。此外，人工智能系统通常是复杂和不透明的，有大量的活动部分，依赖于大量的数据，是资源密集型的，可以用来应用基于判断的决策，并且可以产生新颖的内容，这些内容可能是攻击性的，有害的，或者可能会延续刻板印象和社会偏见。这扩展了团队的组成，以包括跨多个组织的员工，例如：业务数据所有者、安全、云工程、风险和审计团队、隐私、法律、数据科学团队、开发团队、负责任的人工智能与伦理等。
建立正确的跨职能团队可以确保从一开始就包括安全、隐私、风险和遵从性考虑因素，而不是在事后添加。首先，跨安全域的现有安全控制以多种方式适用于人工智能系统。例如，数据安全控制可用于保护人工智能系统用于培训和操作的数据；应用程序安全控制可用于保护实现人工智能系统的软件;基础设施安全控制可用于保护人工智能系统所依赖的底层基础设施;操作安全控制可用于确保人工智能系统以安全的方式运行等。所需的具体控制将取决于AI的使用，以及特定的AI系统和环境。
第三步-提前评估AI生命周期人工智能，尤其是新一代人工智能，是一项新兴且发展迅速的技术。当团队开始评估业务用途、各种不断发展的复杂性、风险和应用的安全控制时，了解AI模型开发生命周期的基础知识、模型方法的设计和逻辑(包括功能、优点和局限性)是至关重要的。从人工智能、机器学习(ML)、深度学习、通用人工智能、大型语言模型(LLM)等概念开始，将使非技术利益相关者能够准确地捕捉和评估安全、负责任地管理和部署人工智能所需的风险和控制。
第四步 -应用SAIF的六个核心要素
1、为人工智能生态系统拓展强大的安全基础
其次，传统的安全控制可能与人工智能威胁和风险相关，但它们可能需要进行调整才能有效，或者在防御态势中添加额外的层，以帮助覆盖人工智能特定的风险。例如，数据加密可以通过限制对某些角色的密钥访问来帮助保护人工智能系统免受未经授权的访问，但它也可能需要用于保护人工智能模型及其基础数据不被窃取或篡改。
再次，进行执行分析，以确定由于AI特定的威胁、法规等需要添加哪些安全控制。检查当前控件如何映射到AI用例，对这些控件进行适合目的的评估，然后创建一个计划来解决差距区域。一旦所有这些都完成了，还要根据它们是否降低了风险以及它们如何有效地处理你的AI使用情况来衡量这些控制的有效性。
再次，使用人工智能系统的组织必须准备好存储和跟踪供应链资产、代码和培训数据。这包括识别、分类和保护所有资产，以及监控未经授权的访问或使用。通过采取这些步骤，组织可以帮助保护他们的人工智能系统免受攻击。
此外，要确保数据治理和生命周期管理可扩展并适应人工智能，数据治理最多有六个决策域:数据质量、数据安全、数据架构、元数据、数据生命周期、数据存储。
人工智能数据治理将变得比以往任何时候都更加重要。例如，人工智能模型有效性的一个关键基础是训练数据集。当涉及到数据集时，要确保有一个适当的生命周期管理系统，并将安全性作为生命周期的一部分(即在整个生命周期中嵌入从数据创建到数据最终销毁的安全措施)。数据沿袭也将发挥关键作用，有助于回答与隐私和知识产权有关的问题。如果谁创建了数据，数据来自哪里，以及数据集的组成，那么回答上述主题的问题就容易得多。
随着人工智能应用的增长，机构的成功可能取决于以敏捷的方式扩展这些决策域。为了支持这一建设，与跨职能团队一起审查数据治理策略，并对其进行调整，以确保其反映人工智能的进步，这一点至关重要。最后说的不是人工智能，而是人。对于许多机构来说，在安全、隐私和合规性方面找到合适的人才可能需要多年的时间。采取措施留住这些人才可以增加成功几率，因为他们可以更快地接受人工智能相关技能的再培训，而不是从外部招聘可能拥有特定的人工智能知识的人才。
首先，使用人工智能系统的组织必须了解与其特定人工智能使用场景相关的威胁。这包括了解他们使用的人工智能类型，他们用来训练人工智能系统的数据，以及安全漏洞的潜在后果。通过采取这些步骤，组织可以帮助保护他们的人工智能系统免受攻击。
2、扩展检测和响应，将人工智能纳入组织的威胁模型
其次，使用人工智能系统的组织必须制定检测和响应安全事件的计划，并降低人工智能系统做出有害或有偏见决策的风险。通过采取这些步骤，组织可以帮助保护他们的人工智能系统和用户免受伤害。
再次，Gen AI是一个强大的工具，可以创建各种内容，从文本到图像再到视频。然而，这种权力也有被滥用的可能。例如，新一代人工智能可以用来创建有害内容，如仇恨言论或暴力图像。为了减轻这些风险，准备实施内容安全策略是很重要的。
最后，随着人工智能系统变得越来越复杂和普遍，调整滥用策略以处理滥用用例，然后调整事件响应流程以考虑特定于人工智能的事件类型，这一点非常重要。这些类型的事件可能包括恶意内容创建、人工智能隐私侵犯、人工智能偏见和对系统的普遍滥用。
首先，人工智能安全技术可以保护人工智能系统免受各种威胁，包括数据泄露、恶意内容创建和人工智能偏见。其中一些技术包括传统的数据加密、访问控制、可以用人工智能增强的审计，以及可以执行训练数据保护和模型保护的新技术。
3、自动化防御，以跟上现有和新威胁的步伐
然而，尽管如此，对于重要的决策，人类必须保持参与，例如确定什么构成威胁以及如何应对威胁。这是因为人工智能系统可能会有偏见或犯错误，为了确保人工智能系统的使用合乎道德和负责任，人类的监督是必要的。
其次，使用人工智能自动化减少耗时的任务，加快防御机制。例如，人工智能可以快速审查相关代码，并为分析师提供可操作的信息。使用这些信息，分析人员可以要求系统生成查找这些操作的YARA规则。回顾人工智能的使用情况和基于人工智能的应用程序的生命周期，了解人工智能的使用是一个关键组成部分。一旦人工智能在机构中得到更广泛的应用，就需要实现一个定期检查使用情况的过程，以识别和减轻安全风险。这包括审查正在使用的人工智能模型和应用程序的类型，用于培训和运行人工智能模型的数据，保护人工智能模型和应用程序的安全措施，监控和响应人工智能安全事件的程序，以及所有员工的人工智能安全风险意识和培训。有了上述流程，就可以更好地理解现有的工具、安全控制和框架。同时，检查机构是否有不同的或重叠的安全性和遵从性控制框架，以帮助减少碎片化，这一点很重要。碎片化会增加复杂性，造成严重的重叠，增加成本和降低效率。通过协调框架和控制，并理解它们对AI使用环境的适用性，将限制碎片化，并提供一个“合适”的方法来控制，以降低风险。首先，开对抗演练，以提高人工智能产品和功能的安全性。对抗演习是一种安全测试方法，这可以帮助机构在被恶意行为者利用之前识别和减轻其人工智能系统中的安全风险。其次，保持在新技术的顶端，包括提示注入，数据中毒和逃避技术。这些攻击可以利用人工智能系统的漏洞造成伤害，例如泄露敏感数据、做出错误的预测或中断操作。通过使用最新的攻击方法，组织可以采取措施来减轻这些风险。
4、协调平台级别的控制，以确保整个组织的一致安全性
5、调整控制以调整缓解措施，并为人工智能部署创建更快的反馈循环
再次，应用机器学习技术提高检测精度和速度。尽管关注人工智能的安全使用是至关重要的，但人工智能也可以帮助机构在规模上实现更好的安全结果。例如，人工智能辅助检测和响应能力可以成为任何机构的重要资产。
与此同时，有必要让人类参与监督相关的人工智能系统、流程和决策。随着时间的推移，这种努力可以推动持续学习，以改进AI基础保护，更新基础模型的训练和数据集的微调，以及ML模型。反过来，这将使组织能够随着威胁环境的发展战略性地响应攻击。持续学习对于提高准确性、减少延迟和提高保护效率也至关重要。
最后，创建一个反馈循环。为了最大限度地发挥上述三个要素的作用，创建一个反馈循环至关重要。例如，如果对抗演习中发现了一种滥用AI系统的方法，那么这些信息应该反馈到机构中，以帮助提高防御能力，而不是仅仅关注补救措施。类似地，如果机构发现了一个新的攻击向量，它应该作为持续学习的一部分反馈到你的训练数据集中。为了确保反馈得到很好的利用，重要的是要考虑各种摄取途径，并充分了解如何快速将反馈纳入您的保护。首先，机构应该开发一个过程来识别、评估和减轻与人工智能模型相关的风险。该团队应由人工智能、安全和风险管理方面的专家组成。其次，在利用第三方解决方案和服务时，机构应构建人工智能模型的综合清单，并根据特定用例、数据敏感性和共享责任评估其风险概况。这意味着识别使用中的所有AI模型，了解与每个模型相关的特定风险，并实现安全控制以减轻这些风险，同时具有明确的角色和责任。
6、将AI系统风险置于周边业务流程中
再次，机构应该在整个ML模型生命周期中实施数据隐私、网络风险和第三方风险策略、协议和控制，以指导模型的开发、实现、监控和验证。这意味着开发和实现策略、协议和控制，以解决与ML模型生命周期的每个阶段相关的特定风险。记住上面框架的第四个元素，以确保您不会创建不必要的碎片。
此外，机构应该识别和评估与使用人工智能相关的风险，并实施安全控制来减轻这些风险。组织还应该覆盖安全实践，以监视和验证控制的有效性，包括模型输出的可解释性和对漂移的监视。并且，创建一个跨职能的团队并构建对相关用例的更深入的理解来支持这项工作是非常重要的，机构可以使用现有的风险评估框架来帮助指导他们的工作，但可能需要增加或调整他们的方法来应对新兴的人工智能风险管理框架。
另外，人工智能系统的安全性是这些系统的开发人员、部署人员和用户之间的共同责任。每个部分的具体职责将根据他们在人工智能系统的开发和部署中的角色而有所不同。例如，人工智能系统开发人员负责开发设计安全的人工智能系统。这包括使用安全编码实践，在干净的数据上训练人工智能模型，以及实施安全控制以保护人工智能系统免受攻击。
最后，要将AI用例与风险容忍度相匹配，这意味着要了解与每个AI用例相关的特定风险，并实施安全措施来减轻这些风险。例如，用于帮助做出可能对人们生活产生重大影响的决策(如医疗保健或金融)的人工智能系统，可能需要比用于不太紧急的任务(如营销或客户服务)的人工智能系统更严格的安全保护。
封面：Pixabay
—END—
