写了代理ip中间件,但是访问爬取网站时还是本地ip。
来源:8-7 scrapy实现ip代理池 - 2
慕先生0421411
2017-07-01
请问老师:我现在要爬淘宝商品的月销量字段,这个字段是在js文件中。如果用同一个ip访问过快过多,淘宝就会把月销量的js屏蔽不给访问,要求登录后才能访问到这个js文件。我解决的办法就是老师课程所讲的购买第三方付费动态ip,写入代理ip随机中间件中,并且在setting文件启动了这个ip中间件,但是加了i代理p访问淘宝时还是用本地ip。请问老师这个老师怎么解决?
写回答
1回答
-
bobby
2017-07-03
你怎么确定 使用的还是本地ip的? 你贴图看一下你设置ip的逻辑看看呢
072017-07-10
相似问题
解决反爬问题
回答 2
爬取网站禁用aws ec2的ip
回答 3