scrapy下载图片报错

来源：4-24 大规模抓取图片下载出错的问题

PhantomBlink

2021-03-01

pipelines的写法与课程上的写法相同，另外一个网站的spider可以完美下载，但是换了一个网站就失败了报出以下错误
图片描述
有尝试为其添加headers，仍然无法下载。
另外通过request直接请求并写入文件却能成功下载
望老师指导

写回答

1回答

PhantomBlink

提问者

2021-03-01

已解决，爬取的来的image_url 打开重定向了一次

bobby

好的。

2021-03-02

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 2

回答 1

回答 1

回答 3