fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached

来源:8-5 通过downloadmiddleware随机更换user-agent - 2

qq_一切安然_0

2020-06-04

图片描述
在浏览器偶尔可以打开http://fake-useragent.herokuapp.com/browsers/0.1.5
这个网址,被电脑识别为不安全图片描述

之前有人问过,我看了你提供的那个https://github.com/alecxe/scrapy-fake-useragent

安装 scrapy-fake-useragent

我看里面的源码 ,不知道我的理解对不对,
图片描述

1.还是使用的fake-useragent,做了进一步的封装,相当于把UserAgentMiddleware已经写好了,不需要我们自己在写了,只需要setting里面配置下就行了?

如果视频里面的不行的话,这个只是封装了下,也会报错的吧?

写回答

1回答

bobby

2020-06-05

你有没有单独测试过 fake-useragent 是否能使用?

0
0

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5808 学习 · 6290 问题

查看课程