scrapy.Spider 和 CrawlSpider 到底要用哪个？

首页课程实战体系课手记专栏慕课教程

scrapy.Spider 和 CrawlSpider 到底要用哪个？

来源：7-8 职位信息入库-2

Dreambig

2017-04-26

scrapy.Spider 和 CrawlSpider 到底要用哪个？

判断用哪个的依据是什么？

谢谢

写回答

1回答

bobby

bobby

2017-04-26

CrawlSpider 用来做全站爬取如果只是爬取某个网站的部分数据比如只爬虫知乎里面的问答之类的用Spider 如果全站爬取就是不管什么内容都获取这种用CrawlSpider

0

0

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

rules如何解决request的地址和allow_domain里面的冲突

回答 1

crawlspider如何像jobbole那样把列表页的img和详情页的数据合成一个item啊？

回答 3

crawlspider中能yield出去 Request的吗？

回答 1

crawlspider和spider有哪些优势?

回答 1

CrawlSpider要怎么增量爬取呢？

回答 1

打开慕课网App查看更多内容