老师你好，我爬取拉钩设置了user-agent和DOWNLOAD

老师你好，我爬取拉钩设置了user-agent和DOWNLOAD_DELAY = 15，仍然会重定向

来源：7-9 网站反爬突破

慕标1389619

2020-04-01

老师你好，我爬取拉钩设置了user-agent和DOWNLOAD_DELAY = 15，仍然会重定向图片描述

写回答

2回答

慕仰7968168

2020-04-03

同学你最后怎么解决的呢

bobby

是否禁用了cookie？

2020-04-03

共1条回复

慕标1389619

提问者

2020-04-01

设置user-agent和DOWNLOAD_DELAY、COOKIES_ENABLED = False，解决了拉钩重定向问题

bobby

慕仰7968168

我在6-9小节中提到过要将这里改为False的

2020-04-03

共5条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 3

回答 1

回答 2

回答 1