谷歌为何索引被屏蔽的网页_

谷歌的 John Mueller 回答了一个问题，即为什么谷歌会索引 robots.txt 禁止抓取的页面，以及为什么可以安全地忽略有关这些抓取的相关 Search Console 报告。

机器人流量到查询参数 URL

提问者记录了机器人正在创建指向不存在的查询参数 URL (?q=xyz) 的链接，这些链接指向带有 noindex 元标记的页面，而这些页面也在 robots.txt 中被阻止。提出这个问题的原因是，Google 正在抓取这些页面的链接，但被 robots.txt 阻止（没有看到 noindex robots 元标记），然后在 Google Search Console 中报告为“已编入索引，但被 robots.txt 阻止”。

该人问了以下问题：

“但这里有一个大问题：既然谷歌根本看不到内容，为什么还要索引网页呢？这样做有什么好处呢？”

Google 的 John Mueller 证实，如果他们无法抓取页面，他们就看不到 noindex 元标记。他还有趣地提到了 site:search 运算符，建议忽略结果，因为“普通”用户不会看到这些结果。

他写道：

“是的，您说得对：如果我们无法抓取页面，我们就看不到 noindex。也就是说，如果我们无法抓取页面，那么我们就没有太多可以索引的内容。因此，虽然您可能会看到一些带有目标网站：查询的页面，但普通用户看不到它们，所以我不会为此大惊小怪。Noindex 也很好（没有 robots.txt 禁止），它只是意味着 URL 最终会被抓取（并最终出现在 Search Console 报告中的已抓取/未索引状态 - 这两种状态都不会对网站的其他部分造成问题）。重要的是您不要让它们可抓取 + 可索引。”

要点：

1. 确认网站限制：搜索

Mueller 的回答证实了使用 Site:search 高级搜索运算符进行诊断的局限性。其中一个原因是它与常规搜索索引无关，它是一个完全独立的东西。

谷歌的John Mueller在 2021 年对站点搜索运算符进行了评论：

“简短的回答是，站点：查询并不完整，也不用于诊断目的。
网站查询是一种特定类型的搜索，可将结果限制在某个网站。它基本上就是单词“site”，冒号，然后是网站域名。
此查询将结果限制在特定网站上。它并不是该网站所有页面的综合集合。”

站点运算符不反映 Google 的搜索索引，因此无法可靠地了解 Google 已编入索引或未编入索引的网页。与 Google 的其他高级搜索运算符一样，它们无法可靠地作为了解 Google 如何对内容进行排名或编入索引的任何内容的工具。

2. 不使用 robots.txt 的 Noindex 标签适用于机器人链接到 Googlebot 发现的不存在页面的情况。未被robots.txt 中的禁止阻止的页面上的 Noindex 标签允许 Google 抓取页面并读取 noindex 指令，从而确保页面不会出现在搜索索引中，如果目标是将页面排除在 Google 搜索索引之外，则这是可取的。

3. 带有 noindex 标签的 URL 将在 Search Console 中生成“已抓取/未编入索引”条目，并且不会对网站的其他部分产生负面影响。在故意屏蔽的页面上下文中，这些 Search Console 条目仅表明 Google 抓取了该页面但未将其编入索引，本质上是说发生了这种情况，而不是（在特定上下文中）存在需要修复的问题。

此条目可用于提醒发布者注意那些无意中被 noindex 标记阻止的页面，或由于其他原因导致页面无法被索引的页面。然后需要调查

4. Googlebot 如何处理带有 noindex 标记的 URL，这些 URL 被 robots.txt 禁止抓取，但也可以被发现。如果 Googlebot 无法抓取某个页面，则无法读取和应用 noindex 标记，因此该页面仍可能根据来自内部或外部链接的 URL 发现被编入索引。

Google 的noindex 元标记文档对使用 robots.txt 禁止元数据中带有 noindex 标记的页面提出了警告：