拉钩数据的抓取 crawl

来源：7-5 网页302之后的模拟登录和cookie传递(网站需要登录时学习本视频教程)

Terry_2018

2020-01-17

图片描述

现在返回这样的页面

写回答

1回答

bobby

2020-01-19

已采纳

拉勾网对ip访问频率做了反爬，你要设置一下访问频率。访问频率我在后面会讲解，

AUTOTHROTTLE_ENABLED = True
# The initial download delay
AUTOTHROTTLE_START_DELAY = 5
# The maximum download delay to be set in case of high latencies
AUTOTHROTTLE_MAX_DELAY = 15
RANDOMIZE_DOWNLOAD_DELAY = True
DOWNLOAD_DELAY = 10

也可以试试将上面的代码放到settings.py中

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程

相似问题

爬取拉钩要登录

回答 2

无法爬取拉钩信息

回答 1

内容管理平台数据抓取，深度优先模式抓取问题

回答 3

老师比如我想动态获取美团美食的数据动态抓取到网页之后还怎么处理呢

回答 1

老师现在拉勾网的反爬策略是什么呢？

回答 1

打开慕课网App查看更多内容