默认情况下，Cloudflare默认阻止AI爬网，并使用新的抓取计划__财经头条_

主要出版物已经报名，包括Ziff Davis，Atlantic，Adweek，Buzzfeed，Time，O'Reilly Media，Internet品牌等。

CloudFlare将默认情况下阻止AI爬网访问网页，同时为站点所有者提供更多详细的选项，以控制AI机器人的类型以爬网。此外，CloudFlare 发起了一项新计划，以使AI服务访问这些页面付费，这称为“每次爬网”。

CloudFlare大约有20％的互联网使用，这可能会对基于开放网络训练的AI服务构成严重的问题。所有内容中有20％只会从这些AI服务中消失。 CloudFlare是一个重要的内容交付网络，但也提供网络安全，减轻DDOS，广泛的网络服务，反向代理等。

阻止AI机器人。为了使CloudFlare宣布它将阻止AI机器人，默认情况下爬行者是一件大事。默认情况下，任何为CloudFlare注册的新站点都将自动设置以阻止AI机器人访问该内容。 CloudFlare告诉我们：“这将从根本上改变AI公司访问Web内容的方式。”

颗粒阻塞控件。Cloudflare表示，它已经与AI公司合作，以验证AI爬行者的身份和目的。具体而言，AI机器人爬行以搜索，内容产生或搜索目的。

这使站点所有者和内容创建者可以对他们想要允许的机器人以及他们想要禁止哪些机器人进行更精细的控制。

付费。Cloudflare还宣布了一项新的薪酬计划，以制定一种AI公司付费以爬您的内容的方法，这被称为每次爬网付费。该公司告诉我们，将来，AI公司也可能能够预览内容，查看最近如何更新以满足其特定需求的最相关内容，甚至以机器优化的格式访问它。

该计划将为内容创建者和网站所有者提供新的收入来源，AI公司是一种简单有效的方法来查找和访问所需的内容。

该公司表示，定价将由两个可以设定利率的发行商和可以选择是否以这些价格访问网页的AI公司确定的。

更多细节。我们最近介绍了 Cloudflare首席执行官Matthew Prince如何说：“ AI将从根本上改变网络的业务模型。过去15年来网络的业务模型一直是搜索……搜索驱动了在线发生的一切。”我们在搜索引擎土地上是该计划的一部分。

以下是一些签署以支持这一点的出版商和公司：Adweek，Atlas Obscura，Buzzfeed，Feltune，Stack Overflow，News/Media Alliance，Atlantic，Battelle Media，Evolve Media，Evolve Media，Syperscience，Iab Tech Lab，O'Reilly Media，O'Reilly Media，o'Reilly Media，Quora，Quora，quora，apptive，sovrn，sovrn，sovrn，inc。stock flack eft.

这是一个视频，显示马修·普林斯（Matthew Prince）谈论这个问题有多严重：

“如果互联网要在AI的年龄中生存，我们需要为出版商提供他们应有的控制权，并建立一种适合所有人的经济模式，即创造者，消费者，明天的AI创始人以及网络本身的未来，” Matthew Prince，联合创始人兼首席执行官Cloudflare说。 “原始内容是使互联网成为上个世纪最伟大的发明之一，我们必须团结起来保护它。AI爬行者一直在不限制的内容中刮擦内容。我们的目标是将权力恢复到创建者的手中，同时仍在帮助AI公司创新的创新。这是为了使未来的免费互联网与每个人都适用于所有人的新模型，以使每个人都适合所有人。”

作为该国最大的出版商，由今日美国和200多个本地出版物组成，在今日美国网络中，未经授权的刮擦和无公平补偿的原始内容的使用至关重要。

Ziff Davis首席执行官Vivek Shah说：“我们赞扬Cloudflare提倡一个使所有利益相关者受益的可持续数字生态系统 - 依靠可信信息的消费者，投资其创作的发行商以及支持其传播的广告商。”

为什么我们在乎。能够在未经授权的情况下阻止AI爬网使用您的内容并非易事。许多服务并不完全尊重robots.txt规则，其他服务创建了其他方法来控制内容管理系统尚未完全采用的爬行，而有些（例如Google）肿块功能（例如AI概述和AI模式）作为搜索的一部分。

这不仅应该使出版商和网站所有者能够更好地控制AI爬行者，而且还给这些AI公司施加了压力，以找到更好的方法来补偿内容创建者的使用内容。