大模型在许多任务上都表现得十分出色，但仍然严重依赖于存储在其参数中的知识，而更新这些知识会带来高昂的训练成本。
类似 ChatGPT 这样含有 1750 亿的参数大模型，要想更新它的知识，需要大量的训练微调。
为了更简便地让大模型学习到新概念和新知识，检索增强的方法能够起到非常关键的作用。
对于检索增强生成方法来说，它通过集成外部知识来解决上述问题。
就像当人类遇到新概念的时候，会查询搜索引擎或者查阅相关书籍一样，大模型也可以通过检索与查询相关的知识，来回答以前无法回答的问题。并且可以通过提供的外部知识，让大模型拥有“获得”新概念的理解力。
然而，这种方法目前存在的最大的问题是：如果检索到了无关的文本，可能会损害大模型的性能。
同时，如果检索到的知识、与大模型的固有参数化知识存在冲突时，就会很难合并这两种知识。
这就要求针对目前的检索增强框架进行改进，提供一种能够规避无关文本、同时可以更好地结合两种知识的架构。
为了解决这一系列问题，浙江大学团队、东南大学团队、美国麻省理工学院团队联合提出一种迭代自反馈检索增强的方法，并将其命名为 RA-ISF。
图 | 相关论文（来源：arXiv）
研究中，他们将检索增强的框架加入一些辅助“小组件”，包括自我知识、文章相关性与问题分解三个模块。
这三个模块也负责着不同方面的功能：
自我知识模块，在大模型的回答很有可能包含正确答案时，可以指示大模型直接回答问题，避免检索耗时与检索错误。
文章相关性模块，能起到类似于文章重排策略的作用。不同的地方在于，文章重排策略必须找到相应的文本以帮助大模型解决问题。
而通过使用文章相关性模块，可以删去绝对不相关的内容，并且在难以寻找到相关文本时，进入问题分解模块，从而规避不相关文本所导致的回答事实性错误。
问题分解模块，则是在检索出的内容粒度过粗的时候，将原问题替换为语义完全覆盖的一系列子问题，从而规避错误知识与不相关信息的影响。
通过这一系列的迭代的处理，研究人员能够确保在检索的过程中，让文本相关性得到更好的保证，也能助力于更好地利用原有知识回答问题，并在缺乏旧知识时依靠新知识获取答案。
在多种检索增强方案中、以及在不同数据集中，本次框架均达到了最佳表现效果。
同时，研究人员也在不同的迭代次数与子模块的不同大小选择上进行了分析，让本次框架的严谨性得以证明。目前，相关代码已在开源社区开放。
据介绍，本次框架能够适用于多种任务。同时，针对解决大模型幻觉问题提供了一种新方案。
（来源：arXiv）实验性能与实验表现，均体现出本次框架相比之前方法的先进性，为大模型在多种场景下的应用提供了理论基础。
同时，本次框架可被用于多个工程实践之中，能够有效提高了大模型在多轮对话、知识密集场景下的性能。
详细来说，这一框架的应用前景大致有几个方向：
其一，可以作为大模型的知识增强方法。针对一些专业领域的知识，可以通过迭代自反馈检索增强的方式，将专业知识与基座模型结合，形成相关领域的专有模型框架。
其二，可以将语料知识与大模型在存储上加以分离，在需要的时候通过缓存接口获取语料知识，从而降低语料库较大时的存储复杂性。
其三，在数据隐私保护上，个人数据也可以存放至语料库，从而更好地保护隐私。
图 | 论文作者之一刘彦铭（来源：资料图）后续，研究人员将基于这一框架，将相应的更新发布在 https://github.com/OceannTwT/ra-isf 上。
另外，他们也计划基于本次框架提供适用于 langchain 的服务，帮助用户更好地使用框架功能。
参考资料：
1.https://arxiv.org/pdf/2403.06840
运营/排版：何晨龙
