UA池,cookie池,IP池三者如何统一
来源:8-8 scrapy实现ip代理池 - 3
慕妹406553
2020-08-24
现实中有不少网站都会对会员ip进行验证。比如淘宝,我在电脑上登录了,马上给电脑设置个代理,再次刷新淘宝,可能会要求再次验证账号。
有没有什么办法将ip池 cookies池 UA统一起来?
比如我在ip池中验证了一天ip可用,然后用这个ip代理登录生成cookies,去采集的时候就用这条代理ip+cookies去采集。
盼解答。
写回答
1回答
-
可以这样啊 使用redis保存 将ip地址作为redis中的key, cookie和ua放入json并序列化到这个key的value中 到时候取出来一起就行了
012020-08-31
相似问题