# AI Bot 爬虫新势力

**URL:** <https://www.isharkfly.com/t/ai-bot/18425>\
**Category:** DevOps\
**Tags:** seo\
**Created:** [November 12, 2025, 6:37pm UTC](https://www.isharkfly.com/t/ai-bot/18425 "2025-11-12T18:37:20Z")\
**Posts on this page:** 1\
**Page:** 1

<div class="post-metadata">

**Author:** ![hex](https://www.isharkfly.com/user_avatar/www.isharkfly.com/hex/32/21953_2.png) [@hex](https://www.isharkfly.com/u/hex)\
**Post date:** [November 12, 2025, 6:37pm UTC](https://www.isharkfly.com/t/ai-bot/18425/1 "2025-11-12T18:37:20Z")

</div>

CloudFlare 提供 AI Crawl Control 的配置选项。

# AI Crawl Control

针对越来越多的 AI Crawl，CloudFlare 提供了 AI Crawl Control 控制选项。

 ![2025-11-12_13-32-01](https://cdn.isharkfly.com/com-isharkfly-www/discourse-uploads/original/3X/6/7/6787e946fcdb499b7f8c69b03322947097a45e9d.png)

对使用 CloudFlare 的用户，可以通过控制台上的配置来查看自己的网址被 AI 扫描了多少次。

针对模型的训练，AI 也需要从互联网中不断的获取内容才能对自己进行训练。

针对上面的内容和数据来看，AI 的爬取量比较大，可能会超过传统的搜索引擎。