如何控制爬虫爬取的速度

来源：7-6 item loader方式解析职位

_不辞而别

2019-01-23

爬取拉钩的时候总会被判定为爬虫，我在setting文件下设置了

DOWNLOAD_DELAY = 3

感觉已经非常慢了，依然出现爬去职位详情页的时候被判定为爬虫。
1、除了在setting中设置DOWNLOAD_DELAY外还有什么方式控制速度呢？
2、是不是其他某些方面没有注意到被判定为爬虫呢？图片描述

写回答

1回答

bobby

2019-01-24

已采纳

你这里有没有试过用浏览器打开拉钩，如果浏览器能打开那证明这里的反爬不一定是因为触发了访问频率或者ip限制引发的

bobby

_不辞而别

好的，

2019-03-07

共5条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 2