CrawlSpider 集成 scrapy-splash

来源：10-6 scrapy-redis源码剖析-dupefilter.py-

qq_拱手河山讨欢_0

2019-05-21

bobby老师有CrawlSpider 集成scrapy-splash的项目或者文档吗？我想学习下，在github上我也没找到相关项目

写回答

1回答

bobby

2019-05-22

crawlspider其实我个人不太推荐使用，因为现在基本上所有的网站都采用了各种各样的反爬手段，像crawlspider这种简单的封装性太强的类，灵活性不是很强，所以我还是推荐直接使用spider类

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 3

回答 1