cookie池如果需要多个cookie,是否需要多个账号分别登陆获取不同的cookie

来源:11-2 cookie池系统设计

大话CSS

2020-06-08

既然是池,表示里面有大量的cookie,但是如果是抓取淘宝一类的网站,只用一个账号,可能随时会被封,那么如果需要多个cookie,是否就需要注册多个账号,这无形中增加了很多难度,请老师解答下

写回答

2回答

bobby

2020-06-09

是的,如果是账号限制 那没有办法,你只有注册多个账号。所以很多大型系统为了解决这个问题会开发一套自己的养殖账号系统。这个系统会解决自动注册账号 并定期维护这个账号防止被官方识别,而且还会配合买账号之类的操作

0
1
大话CSS
非常感谢!
2020-06-09
共1条回复

大话CSS

提问者

2020-06-09

我的QQ: 1285580360

0
0

大话CSS

提问者

2020-06-09

补充问题:

  1. 在cookie池建立多个线程连接时,检测cookie和验证cookie都需要打开一个chrome,我找了下资料,可以在chrome参数中添加headless这个无头参数,解决了不打开的问题,但是这里有个疑惑,如果不开大遇到真的输入中文验证或者英文验证码的时候,真的可以输入吗,我根本什么都看不到,但我测试了好几次,都失败了

  2. 刚开始成功登陆后把cookie保存在redis里面,我就让server不间断监听,然后运行了zhihu_cookie_pool这文件,从redis中随机拿出一个cookie,理论上来说cookie肯定是有效的,但是,每次都会直接显示302,然后parse里面返回的是登陆界面, 并不是首页,这里确实不知道该如何修改了

0
2
bobby
如果拿到的是302那么就有可能是cookie失效了。要注意:不同的网站你某一个账号第二登录 可能会将你之前这个正好的cookie给失效掉
2020-06-09
共2条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程