UA池,cookie池,IP池三者如何统一

来源:8-8 scrapy实现ip代理池 - 3

慕妹406553

2020-08-24

现实中有不少网站都会对会员ip进行验证。比如淘宝,我在电脑上登录了,马上给电脑设置个代理,再次刷新淘宝,可能会要求再次验证账号。
有没有什么办法将ip池 cookies池 UA统一起来?
比如我在ip池中验证了一天ip可用,然后用这个ip代理登录生成cookies,去采集的时候就用这条代理ip+cookies去采集。
盼解答。

写回答

1回答

bobby

2020-08-26

可以这样啊  使用redis保存 将ip地址作为redis中的key, cookie和ua放入json并序列化到这个key的value中 到时候取出来一起就行了

0
1
慕妹406553
非常感谢!
2020-08-31
共1条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5829 学习 · 6293 问题

查看课程