spider执行完后如何关闭所有浏览器？

来源：4-18 mysql表结构设计

Long3ck

2020-12-28

spider执行完后如何关闭所有浏览器？
我现在爬完后，总有一个进程没关闭
百度到下面这个，这个是要加到哪里？
. 图片描述
spider里还是middlewares？

写回答

1回答

bobby

2020-12-31

你如果是想某一个请求完成以后就关闭浏览器那么在middleware中完成，但是如果接下来你还有其他的url需要请求吗那么你得重新开启一个chrome，如果你是整个抓取过程中都要chrome 那么就在spider的close方法中关闭

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 2

回答 1

回答 1

回答 1