关于scrapy使用yeild的问题

来源：4-11 scrapy中为什么要使用yield

风暴洋

2020-08-31

程序中使用了yeild，既然scrapy是单线程异步IO框架,那么相对于直接把Request放入list中一起返回，有什么优势呢？我理解每次发起Request请求后，会接着去执行回调函数，如parse_detail。

写回答

1回答

bobby

2020-09-02

已采纳

不是这样的， yield request是立马将request提交给scrapy的engine去下载，但是提交后去了 yield request之后的代码会继续执行，至于什么时候执行parse_detail会等到request下载完成后执行的，所以两边可以理解为并发执行

dorohedoro

bobby

好的，谢谢老师

2020-11-27

共6条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 2

回答 2

回答 2

回答 1

回答 2