SpiderMiddleware 的 process_spider_exception() 捕获不到异常

来源：8-6 scrapy实现ip代理池 - 1

海洋球

2018-06-16

我测试了下，

在spider函数内抛出异常，函数如果有yiled 就捕获不到。没有就可以进去process_spider_exception

目标网站经常更新，我的目的是，如果元素提取不到，就抛出CloseSpider 异常。停止爬虫。

还有个问题就是，多线程启动后，抛出CloseSpider 也停止不了。怎么才能强行停止。

写回答

1回答

bobby

2018-06-19

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 4

回答 2

回答 1