老师，请问scrapy 有办法在请求reques时修改headers里面的cookie吗

来源：8-4 通过downloadmiddleware随机更换user-agent-1

慕村1500959

2018-04-23

我爬一个网站的时候发现他的反爬是这样的，

请求过去的headers里面有Cookie是反反爬的关键，可以将这个值给死吗，就是说不让scrapy帮我修改请求过去headers 里面Cookie的值

写回答

1回答

慕村1500959

提问者

2018-04-23

我尝试过用middlewares中headers中的给个固定的值，但是发现请求过去的还是自动帮我添加了不必要的值。

//img.mukewang.com/szimg/5add7185000197ab06110269.jpg

//img.mukewang.com/szimg/5add71c70001cd0216260550.jpg

bobby

慕村1500959

你可以先通过浏览器请求一下看看再次请求的时候浏览器中的cookie是不是也会存在这个id=2的情况

2018-04-28

共3条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 2

回答 1

回答 3

回答 1

回答 1