定时抓取的问题

来源：9-11 scrapy信号详解

Rtsunoath

2017-08-24

我现在想做一个每天定时检查网站是否更新的需求,我如何在定时的启动的代码里判断我的爬虫是否在运行的,如果不在运行我才会去启动.

写回答

1回答

bobby

2017-08-25

你看过后面的scrapy-redis章节中可以解决你这个需求因为爬虫会可以一直运行着你只需要写一个进程每天去检查更新检查到以后直接将url写入到redis中就行了

bobby

Rtsunoath

这个我的回答里面就是这个意思啊，你要看后面的scrapy-redis的章节到时候直接启动一个进程直接把每个城市的url定期放入到redis队列中然后把这个url的优先级设置高一点就行了

2017-08-28

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 3

回答 1

回答 1

回答 1

回答 1