Spider 空闲的时候,如何操作才能在调用其它代码的时候不影响 Spider 继续执行?

来源:9-12 scrapy扩展开发

笑看风云号

2017-07-19

Spider 空闲的时候,如何操作才能在调用其它代码的时候不影响 Spider 继续执行?

比如说,Spider 在 idle 空闲状态的时候,调用了 A 代码,Spider 不需要等 A 代码执行结果,而是调用完 A 代码就继续往下执行,这个要如何实现呢?

写回答

1回答

bobby

2017-07-20

亲 整个scrapy的编码都是异步的 都不需要等到结果返回, 你这里说的不等待是什么意思呢? 原理就是twisted, 你如果对异步编码感兴趣可以看看twisted和tornado

0
3
bobby
回复
笑看风云号
亲 http://scrapy-chs.readthedocs.io/zh_CN/1.0/topics/signals.html 你可以看看官方文档里面的信号, 有个空闲信号, 我这里没有现成的关于这种情况的代码
2017-07-21
共3条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程