生成式信息检索如何重塑搜索_

搜索已死，搜索万岁！

搜索已今非昔比。

搜索引擎不再简单地将用户查询中的关键字或短语与网页匹配。我们正在远远超越词汇搜索的世界，词汇搜索只是基于文本的，不仅不理解事物之间的语义联系，而且不理解事物/概念的多媒体表示之间的语义联系。

如今，AI 可以理解、情境化和生成信息，以响应用户意图，主要利用概率预测和模式匹配。

这种转变是由生成信息检索推动的。

生成式信息检索是系统显示和呈现信息方式的根本性转变。

Google DeepMind 的杰出科学家 Marc Najork 在 SIGIR 2023 的主题演讲中阐述了大型语言模型（LLM）如何改变搜索和信息检索，值得重温。他的演讲还探讨了我们如何随着时间的推移从词汇到语义、混合和生成方法的迭代变化来达到这一地位。

从检索到生成

几十年来，搜索引擎通过指向可能包含答案的文档来响应用户查询。

但这种模式正在发展。我们现在正处于生成信息检索的早期阶段。

该系统不仅查找内容;它根据以越来越多模态的方式检索到的内容生成答案，将未指定查询可能表示的所有内容汇集在一起，在一个视图中进行综合。

Najork 将这种转变描述为从传统的基于检索的系统（返回文档的排名列表）转变为检索增强生成（RAG）系统。

在 RAG 设置中，模型从语料库中检索相关文档，然后将它们用作基础知识和上下文，以生成直接、自然的语言响应。

简而言之，搜索者不会看到指向网页的链接列表。他们得到的是综合的、直接的答案，通常以乐于助人的助手的语气和风格。

这种新方法由经过大量数据训练的 LLM 提供支持，并且可以对检索到的内容进行推理。

这些系统并不完美。我们知道他们会产生幻觉并弄错事实。

我们可以亲眼看到，搜索引擎和其他技术公司利用人工智能和大型语言模型（例如，总结新闻标题和摘要）的多种方式正在努力控制 LLM 和生成式 AI 的幻觉性质。

问题是什么？

生成式 AI 建立在概率模式而不是事实之上。

Google 正在研究新闻标题和摘要生成错误的根本原因，并开发了一个名为 ExHalder 的评估框架。另一个例子是 Bloomberg（需要订阅），它不得不在过去一周左右对 AI 和 LLM 生成的摘要进行多次更正。

尽管在搜索中使用 LLM 存在弱点（正如 Najork 在他的 2023 年 SIGIR 演讲中提到的那样，它们在信息检索领域并非没有争议），生成式 AI/生成式信息检索已经走出了大门，现在代表了信息访问和交付方式的根本转变。

这对 SEO 也有重大影响。优化内容以在 “10 个蓝色链接” 中排名与优化以包含在 AI 生成的摘要中不同。

流量推荐挑战

演示文稿中提出的一个大问题是，当语言模型生成答案时，推荐流量会发生什么变化。

我们一直在看到这个问题以诉讼的形式出现，例如 Chegg 就 AI Overviews 起诉 Google。我们还听说，自 AI Overviews 推出以来，许多各种规模的网站的自然搜索流量都有所下降，尤其是信息查询。

在 “经典” 搜索模型中，用户点击链接来获取信息，从而为品牌、创作者和企业的网站带来流量。但是，借助生成式系统，用户可以直接从 AI 答案中获得他们需要的东西，而无需访问网站。

这一直是争论的一大来源。如果 AI 在 “公共” 内容上进行训练并使用该内容生成响应，那么原始来源如何获得信用，或者更重要的是，获得他们可以货币化的流量？

这个未解决的问题对任何依赖自然搜索可见性来推动业务结果的人都有重大影响。正如我们最近发现的那样，Google 似乎在内部认为为出版商提供流量是 “必要的邪恶”。

Najork 的演讲没有提供解决方案，但这似乎暗示了一些无法适应这种转变的内容创作者的黯淡未来。正如 Najork 所说：

悲观的观点：直接回答减少了对内容提供商的推荐，从而损害了他们的货币化能力。
乐观的观点：直接答案中的归因将导致更高质量的推荐，这些推荐总体上更有价值。
真实视图：期待多样化的商业模式和收入流。

但是，我们应该注意，内容创作在很大程度上是由搜索引擎驱动的流量的激励驱动的，甚至 “必要的邪恶 ”也是 “必要的”，因此适应新环境而不是放弃 SEO 更具挑战性。

Najork 还提到了 Google 杰出工程师 Andre Broder 在 2023 年才创造的“delphic costs”这个重要术语，他还创建了著名的 A Taxonomy of Web Search。围绕 delphic 成本的论点是，通过在搜索结果中直接生成答案而不是将搜索者发送到其他资源，可以大大降低搜索者的成本，这应该是搜索引擎的一个关键目标。

这将如何实现并发挥作用？这还有待观察。

然而，我们可以看到，最近在纽约举行的 Google 搜索中心活动中，在面向未来的演示中，为搜索者节省了大量 delph 成本。

预计 delphic 成本（或类似的关于减少搜索者摩擦的讨论）和用户搜索的成本节省元素将越来越多地影响 Google 和 SEO 之间的沟通。