关于使用scrapy-redis爬取lagou

来源：10-4 scrapy-redis编写分布式爬虫代码

frozenlife

2018-04-14

老师，我使用scrapy-redis爬取lagou，开了3个虚拟机同时爬取，爬取了一段时间之后会出现如图所示的情况：一直显示0 pages/min，然后这时在redis-client中lpush url又会继续运行，爬取一些页面之后又会停止爬取，处于等待状态。这个是什么问题？

写回答

2回答

慕娘6095299

2018-10-24

可以分享一下你爬取拉勾的代码吗，对于拉勾的反爬虫你是怎么做的呢

bobby

慕娘6095299

442421039

2018-10-29

共3条回复

bobby

2018-04-16

是不是提取规则有问题导致了url很快进入了一个环路？

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5825 学习 · 6292 问题

相似问题

回答 1

回答 1

回答 2

回答 1

回答 2