CloudFlare 提供 AI Crawl Control 的配置选项。
AI Crawl Control
针对越来越多的 AI Crawl，CloudFlare 提供了 AI Crawl Control 控制选项。
对使用 CloudFlare 的用户，可以通过控制台上的配置来查看自己的网址被 AI 扫描了多少次。
针对模型的训练，AI 也需要从互联网中不断的获取内容才能对自己进行训练。
针对上面的内容和数据来看，AI 的爬取量比较大，可能会超过传统的搜索引擎。
1 Like