知乎爬取302错误，无法爬取

来源：8-8 scrapy实现ip代理池 - 3

战战的坚果

2019-04-24

图片描述

写回答

1回答

战战的坚果

提问者

2019-04-24

准确地说，竟然是有的时候可以，有的时候不可以，有的时候就正常爬取了，有的时候就报上面的错误了，

bobby

你是不是使用了课程中的随机切换user-agent了？这里报错信息是浏览器不兼容，不同版本的浏览器的ua是不同的，如果是随机切换的ua可能会造成使用了一些老版本的浏览器的ua就会报这里的错误

2019-04-26

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 2

回答 2

回答 2

回答 3

回答 1