互联网大的「保安」，当今要当大的「收银员」了。

作家｜靖宇

7 月 1 日，Cloudflare 发了篇博客，标题很仁和，叫「你的网站，你的法规」。但执行点也不仁和——从 9 月 15 日起，通盘使用 Cloudflare 的网站，默许屏蔽混用途的 AI 爬虫。只须你的页面上有告白，AI 的考试爬虫和 Agent 爬虫就进不来。除非你我方去后台手动开。

慎重这个逻辑翻转：以前是「默许允许，你不错遴选屏蔽」，当今是「默许屏蔽，你不错遴选允许」。

这是互联网基础步履层，次对 AI 数据获取式进行系统「立法」。

作念出这个决定的布景是个标记的事件，互联网上的 bot 流量，已历程了东说念主类流量。

Cloudflare CEO Matthew Prince 说，这个里程碑比通盘东说念主预期的齐来得早，原来瞻望要到 2027 年才会发生。换句话说，今天你开的大广博网页，「看」它们的主要不是东说念主，而是机器。

而怎样表率来自 AI 的流量，既有可能决定了通盘网站的畴昔，也决定了集中守门东说念主 Cloudflare 我方的发展轨迹。

01

严厉的「爬虫战略」

字据官先容，Cloudflare 把 AI 爬虫拆成了三类。

类叫「Search」，等于为搜索劳动建索引的传统爬虫，Google 干了二十多年的那种。

二类叫「Agent」，是及时间用户去探听网页的 AI 代理，比如你让 ChatGPT 帮你查个信息、填个表单，它背后就有个 Agent 爬虫在替你跑腿。

三类叫「Training」，等于大领域握取执行用于模子考试的爬虫。

三类分开标注。网站主不错分辩对每类树立「允许」或「屏蔽」。你思让搜索引擎找到你？不错。你思让 AI 代理帮你的用户查信息？也不错。但你不思让 AI 公司白嫖你的执行去考试模子？那你不错单把 Training 关掉。

这个分类本人等于把刀，径直捅向了 Google。

Google 的 Googlebot 是个典型的「混爬虫」——它同期为 Google 搜索建索引，也为 Google 的 AI （比如 AI Overviews）采集数据。Google 如实提供了个叫 Google-Extended 的器具，允许网站选退 AI 考试。但问题在于，Googlebot 这个中枢爬虫本人，依然会同期为搜索引擎内置的 AI 网罗数据。

搜索和 AI 的数据需求，在 Google 的架构里就莫得被简直分开过。

这意味着什么？Cloudflare 的数传闻得很明晰：因为网站思保持在 Google 搜索中的可见，就不得不让 Googlebot 进来，而 Googlebot 进来了，AI 考试的数据也就并拿走了。Google 因此赢得了莽撞两倍于其他 AI 公司的网页执行探听量。

Cloudflare 此次还加了条「严法规先」的原则。淌若个爬虫同期扩充搜索和考试两个，那通盘适用的法规会同期生——按严格的阿谁来。也等于说临夏塑料管材生产线价格，你只须遴选屏蔽 Training 爬虫，Googlebot、Applebot、BingBot 这些混爬虫，完全会被并屏蔽。

这刀的是「系结」——你思被搜索到，就得剿袭被 AI 考试。Cloudflare 说，这个系结不公道，须阻隔。

组数据不错确认旧「社会契约」崩坏到了什么进度。Cloudflare 公布了各 AI 公司的爬取与回流比：Google 莽撞是 14:1——每爬取 14 个页面，回流 1 次。OpenAI 是 1,700:1。Anthropic 是 73,000:1。

搜索引擎时间的往返是「我爬你的执行，你得到流量」。在 AI 时间，这笔账依然算不外来了。

02

从「保安」到「收银员」

淌若 Cloudflare 仅仅帮网站主挡住 AI 爬虫，那这件事的意旨就止于「御」。但 Cloudflare 显豁不得志于只当保安。

客岁 7 月，Cloudflare 出了「Pay Per Crawl」——按爬取次数向 AI 公司收费。本年，它把这个气象升为「Pay Per Use」。区别在于，不再是爬虫每来次你收次钱，而是当你的执行在 AI 系统中简直产生了价值，被用于生成个回应、出当今个 AI 搜索效力里，用户才智收到钱。

从「次第收费」到「按价值收费」，这个诊疗的贪念不小。它意味着 Cloudflare 思建立的不是说念墙，而是个市集。

咫尺的开当作伙伴是两 AI 搜索公司 Ceramic.ai 和 You.com。当出书商遴选加入后，他们的执行出当今 Ceramic 的 AI 搜索效力中，隔热条设备或被 You.com 的 Agent 探听时，出书商会收到付款。大出书商们纷纷站台——Condé Nast 的 CEO 说这是「游戏法规的编削」，Reddit 的联首创东说念主说「通盘生态系统齐会受益」。

听起来像是个的故事。但我以为有要说个不那么的细节。

本年 3 月，Cloudflare 我方发布了个爬虫 API。你给它个 URL，它能次握取通盘网站，复返 HTML、Markdown 或结构化 JSON。这让些出书商卓著不安——阿谁直帮我挡爬虫的公司，怎样我方造了个爬虫？

难熬的是，有出书商尝试屏蔽 Cloudflare 我方的爬虫时发现，树立不生。天然 Cloudflare 其后设立了这个问题，但互联网上的驳斥依然传开了——「咱们保护网站不被爬虫握取……除非是咱们我方的爬虫。」

Cloudflare 对此的讲解是，它的爬虫是「规爬虫」，会尊重 robots.txt，会恪守我方的 AI Crawl Control 法规。淌若站长遴选屏蔽 AI 爬虫，Cloudflare 我方的爬虫也会被挡在门外。用位拓荒者的话说，这是个「双方下注是以始终赢」的策略。

这就引出了个根蒂的问题：Cloudflare 到底是个中立的基础步履裁判，如故个新式的中间商？

谜底可能是后者。

它同期饰演着法规制定者（界说三类爬虫）、法规扩充者（在基础步履层阻扰爬虫）和市集参与者（运营我方的爬虫和执行往返平台）三个角。

这不是说它作念的事情莫得价值——把 AI 爬虫从「序掠夺」拉入「明确分类、需要许可」的框架，如实是个逾越。但把 Cloudflare 当成执行创作家的「救世主」，就太无邪了。

它在构建的，是个以我方为要道的「AI 执行税收站」。

03

普通东说念主能分到蛋糕吗？

这可能是整件事里让东说念主安详的部分。

Condé Nast、Dotdash Meredith、Reddit——站出来因循 Cloudflare 的，齐是大型出书商和平台。它们有执行领域，有法务团队，有商量筹码。这些公司不需要 Cloudflare 也能跟 AI 公司签许可条约——事实上，过客岁宇宙依然签了过 50 份执行许可大单。Cloudflare 对它们来说，是多了个器具，不是唯的出息。

但个东说念主博主呢？个在 WordPress 上写时刻教程的立拓荒者呢？个用公众号写度分析的自媒体东说念主呢？

表面上，Cloudflare 的基础步履，不错让小执行主需逐跟每 AI 公司商量，就能设定权限和赢得赔偿。但「表面上」三个字是重要。Pay Per Use 到当今只须 Ceramic.ai 和 You.com 两个作伙伴，齐是小玩。OpenAI、Google、Anthropic 这些简直在大领域破费执行的公司莫得个上桌。

何况有个现实的矛盾：对小创作家来说，曝光本人等于稀缺的资源。屏蔽 AI 爬虫可能意味着减少被发现的契机。大媒体屏蔽爬虫，Google 搜索如故会收录它们；小博客屏蔽爬虫，可能就竟然隐藏在互联网的杂音里了。

有组让东说念主显现的数据。

AI 聊天机器东说念主带来的引荐流量比传统搜索少莽撞 96。用户在 AI 回应中援用着手的概率，只须莽撞 1。出书商在过客岁因为 AI 搜索蚀本了 20 到 90 不等的流量和收入。项臆测发现，Google 的 AI Overviews 让外链量下落了莽撞 40。

这意味着，即使 Pay Per Use 铺开，付费领域也可能远远不够弥补出书商依然失去的告白收入。这不是场变局，像是次止损——何况未能止住。

Cloudflare 讲解说，50 以上的 AI 爬虫流量花在重迭握取未新的页面上。搞定这种低如实有价值。但搞定率问题和让创作家简直赚到钱，是两件事。

04

「菩萨」也有我方的庙

Cloudflare 向来被广宽用户推奖为「赛博菩萨」，是因为它如实在作念件有价值的事——把 AI 时间的数据掠夺从暗处拉到明处，逼 AI 公司确认晰「我要你的数据干什么」。在个 bot 流量已历程东说念主类流量的互联网上，有东说念主气象站出来喊声「法规不可这样莫得」，这本人值得细目。

但「菩萨」也有我方的庙。

Cloudflare 料理着宇宙莽撞 20 的集中流量，这个数字既大又不够大。另外 80 的网站不在它的保护范围内。AI 公司不错把数据采集的重点转向非 Cloudflare 站点。

Google 和 Apple 的爬虫依然提供了样式上的选退器具，可能借此绕过 Cloudflare 的阻扰。英国竞争与市集料理局（CMA）正在从监管角度向 Google 施压，条目它让出书商能在不影响搜索排行的前提下退出 AI 考试。

个基础步履公司的战略，不会让这场执行权利的从头分拨尘埃落定。

但它揭示了个层的趋势，互联网的「收费站」正在从搜索引擎革新到基础步履层。

往时二十年，Google 是阿谁站在路中间决定谁能被看见的东说念主。当今 Cloudflare 思在底层的位置拦说念——你要过路，先确认晰你是来干什么的，然后按法规来。

收费站变了。收费的东说念主，未变了。Q Q：183445502相关词条:不锈钢保温施工     塑料管材生产线     钢绞线厂家    玻璃棉板    泡沫板橡塑板专用胶

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》临夏塑料管材生产线价格，以此来变相勒索商家索要赔偿的违法恶意行为。