Pipeline中的函数都是自动调用的吗?

来源:4-17 items数据写入到json文件中

lovebecky

2020-02-22

图片描述

老师好,在Pipeline里定义的类如JsonWithEncodingPipeline里面定义的函数是否只有__init__process_item是可以自动调用,而自己定义的函数如spider_closed仍需要手动调用?

我在spider_closed中添加端点,debug过程没有运行到端点,是不是因为spider_closed这个函数在这里还没有起作用。

谢谢老师!

写回答

1回答

bobby

2020-02-24

当然了 可以中讲解过,。你自定义组件那么只有指定的方法名的函数才会被调用,spider_closed方法写在spider中会被调用 但是写到其他地方就不一定会被调用了

0
4
bobby
回复
懵逼工程师
好的。
2021-06-26
共4条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程