老师,请问拉钩这里会出现这么多的重定向了?

首页课程实战体系课手记专栏慕课教程

老师,请问拉钩这里会出现这么多的重定向了?

来源：7-6 item loader方式解析职位

slairmy

2019-02-17

[scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (301) to <GET https://m.lagou.com/jobs/4265068.html> from <GET https://www.lagou.com/center/job_4265068.html?m=1>

[scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to <GET https://www.lagou.com/utrack/trackMid.html?f=https%3A%2F%2Fwww.lagou.com%2Fjobs%2F3946674.html&t=1550386873&_ti=1> from <GET https://www.lagou.com/jobs/3946674.html>

出现这种类似的重定向该怎么处理呢？
看到评论去有人发表过相同的提问，但是都没有贴出解决办法

写回答

1回答

丹阳_不落

丹阳_不落

2019-02-17

爬的太快了，设置一下爬取速度，随机改一下UA

0

1

slairmy

DOWNLOAD_DELAY=5 限制了爬取速度，同样在下载中间件中设置了随机UA和 ip 代理，总是会出现这种重定向

2019-02-21

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

老师你好，我爬取拉钩设置了user-agent和DOWNLOAD_DELAY = 15，仍然会重定向

回答 2

只爬取，不处理

回答 3

爬取拉钩老是被重定向，

回答 1

老师帮我看一下拉钩网的一个response为什么无法获取到数据

回答 2

setings设置成elasticsearch就会重定向到登录界面，而进mysql一点问题没有

回答 1

打开慕课网App查看更多内容