爬取lagou偶尔出现302

来源：15-5 django实现elasticsearch的搜索功能 -1

asdhjhg

2017-07-03

有规律的，每爬取一段数据，就会出现302,

写回答

1回答

bobby

2017-07-04

这是被拉勾网判定为爬虫了，判定一个网站是判定你为爬虫的规则各个网站是不同的，而且是不会告诉外界的，只有自己去不停的试错来判断比如请求频率是多少，比如一个网站可能会根据每分钟，每小时，每天的请求次数来判定你为爬虫，你只有不停的去猜测这个边界到底是多少

bobby

灰乐辉了

限制爬虫速度使用ip代理访问禁用cookie 三种方法结合使用

2017-09-18

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 3

回答 2

回答 2

回答 2

回答 1