异常处理并重试怎么实现
来源：10-5 scrapy源码解析-connection.py、defaults.py-
弗兰克的IT生活
2021-03-15
使用scrapy时，假设在执行过程中，发生异常（exception就可以，不用具体到什么异常），然后想保留当前爬取目标，重试n次，这个怎么处理？？
写回答
1回答
-
首先你得定位什么是异常？ 比如对方给你返回了一个401状态码，比如对方给你返回的是200状态码但是内容是空的，这样算不算异常，比如你爬取的过程中出现了代码异常？这样算不算异常，所以异常你必须得自己心里有个数，不能随便就说异常，这样肯定不行，爬虫一把的异常就是状态码，比如4xx的都认为是异常状态，这些状态码的异常如果想重试可以可以设置哪些状态码重试的，而且scrapy也内置了重试的middleware
062021-03-16
相似问题