我每次爬到4w多条就报错了，这种情况是不是爬太快的缘故呢？

首页课程实战体系课手记专栏慕课教程

我每次爬到4w多条就报错了，这种情况是不是爬太快的缘故呢？

来源：17-1 ItemSaver的架构

弱弱小乖乖

2018-04-29

写回答

1回答

ccmouse

ccmouse

2018-05-01

看上去有点像，您可以试着减小爬取速度试一下。

0

2

ccmouse

回复

弱弱小乖乖

的确都是403了:( 我当时没有考虑反爬虫的事情，对方也没有啥防范，可能课程出去了这样的访问多了对方也做了升级。随机修改user-agent能爬到4w多已经很好了，也是我这门课学习语言的目的了。再往下就是比较专业的反爬知识了，而且网站也会随时提升。

2018-05-05

共2条回复

Google资深工程师深度讲解Go语言由浅入深掌握Go语言

语法+分布式爬虫实战为转型工程师量身打造

5995 学习 · 1909 问题

相似问题

珍爱网的 cityList改成 js文件了，并且加入了一些数字字母怎么爬

回答 4

珍爱网改动了，不能用原来的办法爬了

回答 2

爬的结果中很多status code 403的是不是正常的

回答 2

后面的章节哪个地方用到了这个算法呢？

回答 2

我爬取详情页的时候，发现是加密过的 html

回答 1

打开慕课网App查看更多内容