scrapy 代理ip问题

首页课程实战体系课手记专栏慕课教程

scrapy 代理ip问题

来源：9-2 selenium模拟登录微博，模拟鼠标下拉

慕盖茨7348004

2019-02-26

老师，这有个问题，在 middleware 里写了 RandomProxyMiddleware类后，是不是要添加到 settings 里面的DOWNLOADER_MIDDLEWARES 才能更换 ip，如果这样，我尝试了下，它会一直在那里更换 ip，测试 ip 是否可行，不会去爬取了。我应该怎么做？

写回答

2回答

bobby

bobby

2019-03-01

已采纳

//img.mukewang.com/szimg/5c7906080001bf9710030542.jpg 这里的逻辑是如果某个ip可用就会直接return了，你可以debug看看是哪个地方的逻辑问题

0

1

慕盖茨7348004

非常感谢！

2019-03-01

共1条回复

bobby

bobby

2019-02-27

是的修安排配置到DOWNLOADER_MIDDLEWARES中，你说的一致更换ip是什么意思是因为ip不可用吗?

0

1

慕盖茨7348004

不是，我调试的时候，它测试到某个ip可行后，我以为它会用这个ip去发出request，但是它依然继续检测其余的ip，就是不停的在执行那个 get_random_ip 函数。

2019-02-28

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

老师您好，我想问一下关于scrapy中的ip代理池问题

回答 1

ip代理 connection was refused by other side 61 connection refused

回答 1

回答 2

老师您好, scrapy设置代理后访问超时

回答 3

关于代理ip无效的问题

回答 1

打开慕课网App查看更多内容