原码中classmethod里参数crawler到底是个什么角色

来源：9-9 spider middleware 详解

慕码人5330596

2018-09-28

图片描述

如图这个crawler到底是什么有什么作用呢
另外我是否需要学习twsited框架才能更好的理解scrapy原码和架构

写回答

1回答

bobby

2018-09-30

已采纳

twisted是异步io框架，其实你弄懂了asyncio也就相应的懂了twisted的原理了，因为twisted目前还没有asyncio那么普及，所以你可以看看asyncio，crawler你可以知道你给当前的crawer设置的配置项，一些比如静态变量可以设置到crawler中在你需要的地方可以使用

bobby

慕码人5330596

非常感谢对课程的支持，因为我自身学习的过程中也会有很多疑问，所有我很多时候都会去阅读源码，当阅读了多个库的源码以后，会发现自己不再害怕去使用一些自己没有使用过的库，或者一些不完善的库，因为有了阅读源码的能力，你会觉得这些库都不是问题，大不了去阅读源码就行了，这样对于一些文档不完善的库自己可以把它变成自己的库，有时候会感觉这是一件很cool的事情

2018-10-04

共3条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程

相似问题

RandomUserAgentMiddleware 执行问题

回答 1

from_crawler(cls,crawler)传进来的参数crawler指的是什么?

回答 1

rule中follow参数为true。

回答 2

Crawler 类到底是干嘛的？

回答 1

请问老师在item中使用MapCompose方法，传入的我自定义函数如何带参数？

回答 1

打开慕课网App查看更多内容