写了代理ip中间件,但是访问爬取网站时还是本地ip。

来源:8-7 scrapy实现ip代理池 - 2

慕先生0421411

2017-07-01

请问老师:我现在要爬淘宝商品的月销量字段,这个字段是在js文件中。如果用同一个ip访问过快过多,淘宝就会把月销量的js屏蔽不给访问,要求登录后才能访问到这个js文件。我解决的办法就是老师课程所讲的购买第三方付费动态ip,写入代理ip随机中间件中,并且在setting文件启动了这个ip中间件,但是加了i代理p访问淘宝时还是用本地ip。请问老师这个老师怎么解决?

写回答

1回答

bobby

2017-07-03

你怎么确定 使用的还是本地ip的? 你贴图看一下你设置ip的逻辑看看呢

0
7
bobby
回复
慕先生0421411
能给大家说一下大概的思路吗?
2017-07-10
共7条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程