老师现在拉勾网的反爬策略是什么呢？

来源：8-1 爬虫和反爬的对抗过程以及策略

慕函数4172790

2020-01-01

我在第6章的时候去跟着老师爬取拉勾网的职位，第一个没有加user-agent然后302重定向了，这是检测到是python吧，那它现在还有检测速度的反爬吗？它好像已经不需要登陆了吧？

写回答

1回答

bobby

2020-01-03

已采纳

很多网站都会检测user-agent，如果遇到没有检测这个的说明这个网站可能对反爬不在意，因为这个是最基础的反爬了，拉钩网应该是对于自己的数据看的比较重，所以反爬上力度会大一些，爬取速度也是会检测的，所以需要控制一下抓取速度

bobby

慕函数4172790

只要是对方没有通过ip识别出来就行

2020-01-04

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 2

301

回答 2

回答 2

回答 1

回答 1