crawler 对象是什么,发挥了什么作用
来源:8-2 scrapy架构源码分析
Sky__Qi
2019-05-21
bobby老师,你好:
crawler 对象和 spider 对象的关系,官方文档中提示:The Crawler object must be instantiated with a scrapy.spiders.Spider subclass and a scrapy.settings.Settings object.
我们在自定义类的方法时候,比如:
@classmethod
def from_crawler(cls, crawler)
...
def process_request(self, request, spider):
...
发现,使用 crawler 的方法好像都是类方法。spider 对象是当前的爬虫(在爬虫文件中声明的类:xxxSpider),那 crawler 对象是什么对象,文档中解释是 spider对象+settings对象,并且是Scrapy API的主要入口。crawler 在整个scrapy框架中扮演了啥角色,发挥了什么作用,和spider对象有什么联系呢?
写回答
1回答
-
012019-05-24
相似问题