老师，请问crawlspider和普通spider的应用场景选择有什么依据

来源：10-1 分布式爬虫要点

木易十三

2020-02-03

写回答

1回答

bobby

2020-02-03

crawlspider适合全栈抓取，无非就是讲代码简洁化而已，spider灵活很多，想怎么写就怎么写，

crawlspider相对限制比较多，但是现在很多爬虫都不再全站抓取了，所以我个人更喜欢用spider自己写过程，因为灵活，但是crawlspider的源码写的很不错，具有很好的研究价值，这就是为什么我会讲解这个部分的源码的原因，多读源码对我们会有很大的好处

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1