Python robotparser 的抓取延迟：已经读到三秒限制，为什么 can_fetch 仍连续返回真 给一个已获授权的数据采集程序接入robots解析后，Crawl-delay明明返回三秒，连续调用can_fetch却每次都为True。原因是这个方法判断路径政策，时间间隔由另一些方法提供为元数据；解析器不是请求调度器... yunqueblog/ 技术教程/ 2026-10-03/ 3 阅读
yunqueblog