知乎频繁访问

来源：6-18 知乎spider爬虫逻辑的实现以及answer的提取 - 2

慕数据8106153

2019-03-10

老师你好知乎在访问一定次数之后就会要求输入手机验证码，或者图片验证码我要怎样知道目前访问知乎需要验证码的呢因为无界面，所以有可能爬到一半就会断掉但我还不知道

写回答

1回答

慕数据8106153

提问者

2019-03-10

或者说我如果有几个知乎账号我想轮流替换，该怎样去操作呢

bobby

访问频繁这种情况，知乎可以通过账号检测到，这种切换ip也是没用的，因为这个是针对账号检测的，所以最好的方法是多用几个账号轮流抓取。但是账号之间的cookie如果去维护你可以看看5-2小节我补录了章节里面会讲解如何从浏览器获取到的cookie放入request中，我也会讲解如何保存到文件中，你可以将这些保存到数据库中然后在后面的章节中我会讲解如何写scrapy的middleware去切换ip代理，你按照同样的道理去设置cookie就行了

2019-03-11

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程

相似问题

知乎访问用户信息的api获取数据时返回404

回答 2

获取了登录后的cookie无法获取具体信息

回答 1

请求知乎问题页403

回答 1

老师，知乎页面似乎更新了，麻烦有时间更新一下源码

回答 1

知乎运行出错

回答 1

打开慕课网App查看更多内容