Cloudflare 与 OpenAI 公布发现试点结果：为 ChatGPT 索引补进数亿个未知页面

10 月 15 日，Cloudflare 与 OpenAI 公布双方联合研究试点的首批结果：试点自 2026 年 7 月启动，用 Cloudflare 网络（约 1% 的参与流量）产生的元数据——流量特征、请求特征与页面变更信号——喂给 OpenAI 的搜索爬虫，让后者发现常规抓取难以覆盖的页面。两家称，这条通路把数亿个此前未被索引的网页带进了 ChatGPT 搜索。

更值得记的是流水线的第二段：他们发现自动化流量会让「不存在的页面」看起来像有意思的目标——机器人反复请求不存在的文件、有些站把几乎任何地址都重定向到首页、还有些地址只是同一内容的副本。系统在爬虫真正抓取之前就用这些模式把无效目标剔掉；变更信号则告诉爬虫哪些页面值得重访，在保持时效的同时减少无谓抓取。对正规站被单个被黑页面拖累的情况，试点在测试只标记那一个页面、不惩罚整个域。

边界与结果同等重要：两家强调发现信号不等于访问许可，试点用的是元数据、不是把页面内容用于模型训练；站点侧的控制权仍留在 Cloudflare 的 AI Crawl Control，用来区分搜索索引与训练用途。对做 GEO 的站点，这条的含义很直接——让 AI 引用你，先得让它知道你存在；而不想被训练抓取，靠的是爬虫控制，不是内容优化。

原文链接：Cloudflare 官方博客 / OpenAI