Crawl-delay是一个非官方的指令，用来告诉搜索引擎爬虫在抓取网站时应该等多久，例如，Crawl-delay:30意味着每次爬虫抓取一个页面，都要等30秒才能抓取下一个页面(每次抓取之间至少要等30秒)，这样可以减轻服务器的压力，避免爬虫频繁请求网站资源。当搜索引擎抓取一个页面时，它会请求该页
Crawl-delay是一个非官方的指令，用来告诉搜索引擎爬虫在抓取网站时应该等多久，例如，Crawl-delay:30意味着每次爬虫抓取一个页面，都要等30秒才能抓取下一个页面(每次抓取之间至少要等30秒)，这样可以减轻服务器的压力，避免爬虫频繁请求网站资源。
当搜索引擎抓取一个页面时，它会请求该页面的 HTML 内容，以及该页面引用的 CSS、JavaScript 和图片等资源。Crawl-delay 指令只影响搜索引擎抓取页面的时间间隔，而不影响它抓取单个页面所需的时间。也就是说，当搜索引擎抓取一个页面时，它会在很短的时间内连续请求该页面的 HTML 内容和相关资源，而不会在请求每个资源之间都等待 Crawl-delay 指定的时间。
| 1 2 3 4 5 | User-agent: * Crawl-delay: 30 User-agent: Bing |
上面的 robots.txt 代码表示对于所有的爬虫，都要等待30秒；但是对于必应的爬虫，只要等待10秒。
哪些搜索引擎支持 Crawl-delay
目前，只有 Bing、DuckDuckGo、Yandex 等少数搜索引擎承认这个指令。但 Yandex 建议使用 Yandex.Webmaster 控制台设置抓取频率。
谷歌则完全忽略它，而是根据网站的性能和流量来自动调整爬取速率。百度spider则明确表示不支持Crawl-delay，建议通过百度站长平台的抓取压力反馈工具定义爬虫的首选抓取频率。
