crawlspider怎么指定headers

首页课程实战体系课手记专栏慕课教程

crawlspider怎么指定headers

来源：7-6 item loader方式解析职位

慕圣1554054

2017-09-13

crawlspider是通过rules来获取url，headers怎么指定

写回答

1回答

bobby

bobby

2017-09-14

headers是通过组件设置的不需要自己去在spider里面写后面的章节中我会介绍到如何自定义组件

0

2

bobby

回复

包袱里有抱负

谢谢提醒我在本地测试一下

2017-11-28

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

CrawlSpider要怎么增量爬取呢？

回答 1

怎么去设定headers在CrawlSpider？

回答 1

老师，我用crawlspider模拟登录，发现被重定向了。

回答 1

老师，请问crawlspider和普通spider的应用场景选择有什么依据

回答 1

scrapy.Spider 和 CrawlSpider 到底要用哪个？

回答 1

打开慕课网App查看更多内容