crawl spider 修改header

来源：7-3 CrawlSpider源码分析

慕丝8011162

2018-04-27

 rules = (
        Rule(LinkExtractor(allow=r'firm'), callback='parse_item', process_links='parse_link'),

老师您好，crawl spider类的爬虫，能不能只修改parse_item对应的header？修改def _requests_to_follow(self, response)函数好像对所有请求的header修改了，不能满足需求。

写回答

1回答

bobby

2018-04-28

已采纳

我不太明白你的需求值修改parse_item的header是什么意思呢能举个例吗？

慕丝8011162

非常感谢！

2018-05-02

共3条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 3

回答 1

回答 2