scrapy.http的Request的错误处理？

来源：7-4 Rule和LinkExtractor使用

Thong

2017-04-16

我需要爬取的网站上会有无效的链接，怎么用request请求失败了之后直接跳过去不管它，经常会有raise NotSupported("Response content isn't text")的错误，我试了try except好像没有用，这种情况应该怎么处理？

写回答

1回答

bobby

2017-04-17

已采纳

你看一下具体是哪一个url产生的这个结构才容易确定问题，这个应该是downloader出现的问题

Thong

非常感谢！

2017-05-05

共5条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5831 学习 · 6293 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1