如何避过验证码post过多限制的反爬
来源:15-9 搜索记录、热门搜索功能实现 - 2
慕先生0421411
2017-07-12
请问老师:我现在爬阿里巴巴的商铺url的移动电话字段,这个字段是需要登录后才能访问,我就把多个登录后的cookie加入代码中,写个随机数每次抽。然而爬不久就被阿里巴巴识别到,账户异常要求输入验证码。于是我就采用了云打码破解。但问题是阿里巴巴又做了验证码次数限制。post验证码过多了就不给再post了。请问老师这个反爬如何破解
写回答
2回答
-
bobby
2017-07-12
阿里的反爬应该算是国内最严格的网站之一了, 但是做过后端开发的话就能明白, 服务器判断你无非也就是那几种方式, 通过ip限制, 通过cookie限制,
这里阿里需要登录就是通过cookie限制, 也就是通过账号限制, 我看到你这里实际上用了多个账号的cookie来爬取了, 这里就有一个问题就是如果账号不多, 即使随机切换也有可能对每个账号来说还是请求频繁了, 而且阿里也极有可能会通过一个ip地址是否不停的有多个cookie发送过来, 所以你可以再申请多个账号和随机切换ip代理的方式结合来爬取, 而且也需要限速爬取, 不要爬取的过于频繁, 因为如果阿里一旦后台的逻辑是讲cookie和ip绑定来判断你随机切换ip的方式就无效了, 限速才是良性的爬虫, 不要过度的追求爬虫速度, 对于某一个网站来说有个好的节奏去爬取才是长期爬虫的关键
142017-07-14 -
慕先生0421411
提问者
2017-07-12
这就是阿里巴巴的post验证码限制,ua加密的
00
相似问题