老师,帮我看一下这个错误怎么解决呢?设置代理ip和随机UA,然后怎么都不能访问了,调试和运行时都能正常输出随机代理ip和UA

来源:8-10 cookie禁用、自动限速、自定义spider的settings

慕标6096510

2020-05-12

图片描述图片描述图片描述图片描述

写回答

2回答

荼灬

2021-05-30

我也遇到这个问题了, 你可以试下改成这样

request.meta["http_proxy"] = ip

我这样做是有效的

0
0

慕标6096510

提问者

2020-05-12

关闭用户代理和ip代理就可以访问了,找不到问题再哪

0
2
慕标6096510
回复
bobby
好的,
2020-05-14
共2条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程