关于request.seen文件清空的问题？
来源：15-1 es完成搜索建议-搜索建议字段保存 - 1
慕粉1946152704
2019-10-08
老师, scrapy-redis的课程中有提到一个schedule_flush_on_start变量可以控制这个指纹是否清空, 但是目前我不需要用分布式和redis,但是我又希望scrapy每次爬完数据后能保留request.seen文件， 请问 scrapy本身有能控制爬虫程序结束后， request.seen文件清空的方法吗?
写回答
1回答
-
bobby
2019-10-09
你这个需求我不太明白，你提到希望爬完后保留seen文件，又需要清空文件的方法是什么意思？
042019-10-17
相似问题