老师这个重定向怎么过滤掉诶？这个重定向网站里爬取的所有信息都是空白

首页课程实战体系课手记专栏慕课教程

老师这个重定向怎么过滤掉诶？这个重定向网站里爬取的所有信息都是空白

来源：7-5 网页302之后的模拟登录和cookie传递(网站需要登录时学习本视频教程)

曹学习

2020-04-24

2020-04-24 20:15:20 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to <GET https://www.lagou.com/utrack/trackMid.html?f=https%3A%2F%2Fwww.lagou.com%2Fjobs%2F5631646.html&t=1587730520&_ti=1> from <GET https://www.lagou.com/jobs/5631646.html>

写回答

1回答

bobby

bobby

2020-04-25

课程在本章节最后讲解过如何防止这里被识别你可以看看最后一个小结

0

0

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

爬取拉勾网，重定向302

回答 2

只爬取，不处理

回答 3

实习僧爬取问题

回答 1

基于CrawlSpider，同一份代码爬取多个网站的数据，如果限制不爬取外链网站数据

回答 2

拉勾网重定向无法爬取

回答 3

打开慕课网App查看更多内容