老师，通过CrawlSpider爬取一个域下的所有站点，怎么实现增量爬虫

来源：14-1 elasticsearch介绍

loonghoo

2019-08-14

写回答

1回答

bobby

2019-08-16

增量抓取可以使用scrapy-redis定时向redis的队列中放入待抓取的requests 并把队列设置为优先级队列就可以控制哪些request会优先抓取了

bobby

evilchaos

你把Request中设置一个参数dont_filter设置为True，但是哪些需要重新抓取这个需要你自己去设置了

2019-08-18

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5828 学习 · 6293 问题

相似问题

回答 1

回答 2

回答 1

回答 2

回答 4