Crawl-delay是一个非官方的指令，用来告诉搜索引擎爬虫在抓取网站时应该等多久，例如，Crawl-delay:30意味着每次爬虫抓取一个页面，都要等30秒才能抓取下一个页面(每次抓取之间至少要等30秒)，这样可以减轻服务器的压力，避免爬虫频繁请求网站资源。当搜索引擎抓取一个页面时，它会请求该页
Crawl-delay是一个非官方的指令，用来告诉搜索引擎爬虫在抓取网站时应该等多久，例如，Crawl-delay:30意味着每次爬虫抓取一个页面，都要等30秒才能抓取下一个页面(每次抓取之间至少要等30秒)，这样可以减轻服务器的压力，避免爬虫频繁请求网站资源。
当搜索引擎抓取一个页面时，它会请求该页面的 HTML 内容，以及该页面引用的 CSS、JavaScript 和图片等资源。Crawl-delay 指令只影响搜索引擎抓取页面的时间间隔，而不影响它抓取单个页面所需的时间。也就是说，当搜索引擎抓取一个页面时，它会在很短的时间内连续请求该页面的 HTML 内容和相关资源，而不会在请求每个资源之间都等待 Crawl-delay 指定的时间。
| 1 2 3 4 5 |
User-agent: * Crawl-delay: 30 User-agent: Bing |
上面的 robots.txt 代码表示对于所有的爬虫，都要等待30秒；但是对于必应的爬虫，只要等待10秒。
哪些搜索引擎支持 Crawl-delay
目前，只有 Bing、DuckDuckGo、Yandex 等少数搜索引擎承认这个指令。但 Yandex 建议使用 Yandex.Webmaster 控制台设置抓取频率。
谷歌则完全忽略它，而是根据网站的性能和流量来自动调整爬取速率。百度spider则明确表示不支持Crawl-delay，建议通过百度站长平台的抓取压力反馈工具定义爬虫的首选抓取频率。
购买必读
本站模板没有任何后门，也不会和我们服务器有任何通信，请您放心使用。
本源码一次性买断，没有二次费用，并享受免费更新。
在使用本站模板时，请不要使用我们的产品从事违反中华人民共和国法律、违反公序良俗的活动，否则我们有权拒绝服务，并配合有关单位予以处置。如果您不符合条件，请勿购买。
售后是指通过QQ与客服联系处理问题，售后过期不影响您对主题的使用和更新。免费三个月售后服务。售后服务时间为工作日早9点到晚5点。如果不在线可以QQ留言，我们会尽快给您答复。
售后服务包括程序的使用、BUG的处理、意见建议等。不包括技术服务、网站优化、二次开发、环境配置、服务器运维等。
代码类商品属于数字化商品，具有可复制性，不支持退款，详见《网络交易管理办法》第二章 第16条 第三类。
请仔细阅读我们的用户协议：用户协议
本站模板没有任何后门，也不会和我们服务器有任何通信，请您放心使用。
本源码一次性买断，没有二次费用，并享受免费更新。
在使用本站模板时，请不要使用我们的产品从事违反中华人民共和国法律、违反公序良俗的活动，否则我们有权拒绝服务，并配合有关单位予以处置。如果您不符合条件，请勿购买。
售后是指通过QQ与客服联系处理问题，售后过期不影响您对主题的使用和更新。免费三个月售后服务。售后服务时间为工作日早9点到晚5点。如果不在线可以QQ留言，我们会尽快给您答复。
售后服务包括程序的使用、BUG的处理、意见建议等。不包括技术服务、网站优化、二次开发、环境配置、服务器运维等。
代码类商品属于数字化商品，具有可复制性，不支持退款，详见《网络交易管理办法》第二章 第16条 第三类。
请仔细阅读我们的用户协议：用户协议
