爬虫爬着爬着就空跑，看下面的图。。咋解决呀？

来源：14-2 elasticsearch安装

asdhjhg

2017-07-27

写回答

1回答

bobby

2017-07-28

是否数据已经爬完，看输出里面一直没有新的url得到应该是队列里面没有url了吧

bobby

asdhjhg

scrapy的内部url调度机制是很稳定的，你可以在每次进入下一个url之前print一下或者打印到log文件，然后看看是否后期没有打印了如果没有打印了就证明是数据没有了或者已经进入死循环了

2017-07-31

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 2

回答 1

回答 1