拉钩判断爬虫的依据是什么

来源：7-4 Rule和LinkExtractor使用

伊飘叶

2017-10-23

在用老师代码登录拉钩的时候自动302跳转到了登录界面，我想问下服务器判断爬虫是根据速度还是UA进行判断的啊？crawlspider的话应该怎么修改爬取速度和ua啊，因为和知乎的界面不太一样，不知道在源代码的哪里改，速度可以用TIMESLEEP ua我不会改啊

写回答

2回答

bobby

2017-10-24

已采纳

拉勾会通过ua和ip 都会做限制反爬虫不会只通过一种策略反爬虫，随机ua的设置我会在后面的章节中介绍到是全局的

伊飘叶

非常感谢！

2017-10-24

共1条回复

L风之岚歌

2017-10-23

user-agent的改法老师的课程里讲过.

pip install fake-useragent,实例化一个ua,然后在headers里指定就好了

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 2

回答 1

回答 1

回答 1

回答 1