爬的结果中很多status code 403的是不是正常的

来源：16-6 更多城市

Littleyu2018

2018-07-11

就是具体到用户那步

2018/07/11 00:49:08 Fetcher: error fetching url http://album.zhenai.com/u/1826404337: wrong status code: 403

2018/07/11 00:49:08 Fetcher: error fetching url http://album.zhenai.com/u/1144436833: wrong status code: 403

2018/07/11 00:49:08 Fetcher: error fetching url http://album.zhenai.com/u/1220732624: wrong status code: 403

写回答

2回答

小飞猪来了

2018-08-24

header 里面添加 user agent 就行了

ccmouse

2018-07-16

我的课程开设以来，应该是带去了很多有规律的爬虫吧，对方网站最近加了反扒的机制，我们现有的方法不能用了。我们可以通过设置header的方法来缓解，不过对方仍然很好防范。目前来看，同学可以换一个网站去爬。找个新闻类的或者体育、金融类不用登陆的即可。

技术进步官

肯定是有人太暴力了

2019-10-15

共1条回复

Google资深工程师深度讲解Go语言由浅入深掌握Go语言

语法+分布式爬虫实战为转型工程师量身打造

5995 学习 · 1909 问题

相似问题

回答 4

回答 1

回答 2

回答 4

回答 2