怎么去设定headers在CrawlSpider？

首页课程实战体系课手记专栏慕课教程

怎么去设定headers在CrawlSpider？

来源：7-4 Rule和LinkExtractor使用

蜥蜴

2017-05-31

我按照老师那样debug，结果停下来的时候，显示_url='https://passport.lagou.com/login/login.html?msg=validation&uStatus=2&clientIp=210.12.7.146'，我想可能是headers没有设置的原因，可是视频中并没有讲CrawlSpider在什么位置设置Headers。

写回答

1回答

bobby

bobby

2017-06-01

后面章节我会讲解middleware 你在spider_middleware中设置就行了

0

0

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

crawlspider怎么指定headers

回答 1

老师，请问scrapy 有办法在请求reques时修改headers里面的cookie吗

回答 1

crawlspider中能yield出去 Request的吗？

回答 1

CrawlSpider要怎么增量爬取呢？

回答 1

老师，请问crawlspider和普通spider的应用场景选择有什么依据

回答 1

打开慕课网App查看更多内容