老师，请问yield出去的不同item可以使用指定的pipeline处理吗？

来源：10-4 scrapy-redis编写分布式爬虫代码

clevertang

2021-01-08

比如，我现在有两个item类，spider中会yield出去两个不同的item，但是我在pipeline中要做不同的处理。我现在是在pipeline中用isinstance判断的，感觉这样比较麻烦，想请教下有没有更方便的方式。

写回答

1回答

bobby

2021-01-10

pipeline只能在不同的spider中配置不同的pipeline 如果想要不同的item 使用不同的pipeline处理你只需要在不同的pipeline中判断一下是否是你需要的item类就行了如果这个pipeline值处理这种item 你只需要判断一下是否是符合预期的item 如果不是只需要 return不处理就行了

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程

相似问题

在解析的过程，有多个url被yield跟进爬取时，如何保证都解析完成，才被yield给pipelines

回答 1

yield 和 return的问题

回答 1

请问yield item时能不能指定某条管道

回答 1

关于scrapy数据库异步操作

回答 1

关于scrapy使用yeild的问题

回答 1

打开慕课网App查看更多内容