crawler 对象是什么,发挥了什么作用

来源:8-2 scrapy架构源码分析

Sky__Qi

2019-05-21

bobby老师,你好:

crawler 对象和 spider 对象的关系,官方文档中提示:The Crawler object must be instantiated with a scrapy.spiders.Spider subclass and a scrapy.settings.Settings object.

我们在自定义类的方法时候,比如:

	@classmethod
	def from_crawler(cls, crawler)
		...
	
	def process_request(self, request, spider):
		...

发现,使用 crawler 的方法好像都是类方法。spider 对象是当前的爬虫(在爬虫文件中声明的类:xxxSpider),那 crawler 对象是什么对象,文档中解释是 spider对象+settings对象,并且是Scrapy API的主要入口。crawler 在整个scrapy框架中扮演了啥角色,发挥了什么作用,和spider对象有什么联系呢?

写回答

1回答

bobby

2019-05-22

0
1
Sky__Qi
非常感谢!
2019-05-24
共1条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程