爬虫定时启动

来源：10-9 集成bloomfilter到scrapy-redis中

RiverMa

2017-07-11

老师能不能介绍一下爬虫怎么样能定时周期性启动啊

写回答

1回答

bobby

2017-07-12

周期性启动，有很多细节你需要考虑，第一是否之前的爬虫需要停止，如果之前的爬虫到下一个周期之前还没有停止是否需要强制停止然后启动或者直接再启动一个实例。

如果要周期性启动有一个最简单的方法就是linux的crontab任务，你可以百度一下做定时任务的，可以定时执行命令

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1