关于scrapy.Request()里的meta参数问题
来源:4-11 scrapy中为什么要使用yield
wuzhimou
2019-12-11
老师,为什么image_url要用meta来传入?它的逻辑是怎样的?谢谢!
写回答
1回答
-
bobby
2019-12-12
这个很好理解,你有这个疑问应该是你认为yield之后的request运行完以后下一行代码就应该是运行到parse_detail了,如果这样理解就没有理解到scrapy的异步高并发特点。这两个函数你可以简单理解为两个进程(实际上不是)。两个进程间通信是比较麻烦的,这样做为了把上一个进程的变量传递给下一个进程使用
022021-03-30
相似问题