老师，我爬用户详情的时候返回403无权访问怎么办

来源：15-10 单任务版爬虫性能

只为你割地称臣

2019-06-02

返回403无权访问

写回答

2回答

ccmouse

2019-06-09

已采纳

我的课程开设以来，应该是带去了很多有规律的爬虫吧，对方网站最近加了反扒的机制，我们现有的方法不能用了。我们可以通过设置header的方法来缓解，不过对方仍然很好防范。目前来看，同学可以换一个网站去爬。找个新闻类的或者体育、金融类不用登陆的即可。

慕虎5456281

2021-09-22

可以在fetch中设置request请求header头中的user-agent为常用浏览器的，这样不会出现403，但可能会出现201，另外可以限制爬取的速率，坏处是这样比较慢，但可以更大几率的避开403

Google资深工程师深度讲解Go语言由浅入深掌握Go语言

语法+分布式爬虫实战为转型工程师量身打造

5995 学习 · 1909 问题

相似问题

回答 1

回答 2

回答 4

回答 1

回答 1