由scrapy异步，导致cookie在scrapy中储存过久，cookie值失效，该怎么办？

来源：8-10 cookie禁用、自动限速、自定义spider的settings

慕粉1209573531

2018-06-22

写回答

1回答

bobby

2018-06-26

scrapy对于cookie的处理逻辑实际上下一个request的cookie是从上一个request的cookie中获取的，当cookie失效的时候你直接删除当前request中的cookie就行了

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1