selenium解析速度过慢的问题

来源：9-4 selenium集成到scrapy中

慕粉3883702

2021-09-17

bobby老师，你好。

使用selenium爬取某网站的详情页，发现解析速度过慢，平均一分钟只能爬取2-3条，电脑开了一整夜，只爬取了1000多条。

看了一下电脑的cpu和内存占用，cpu基本上已经被顶满了。

所以有什么更快，更节省资源的方法吗？

写回答

1回答

bobby

2021-09-17

bobby

慕粉3883702

chrome开的过多是因为你每个页面都开了chrome实例并且没有在抓取成功以后关闭，你可以全局在spider启动的时候实例化一个selenium这样就可以每个url使用同一个selenium了

2021-09-21

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 2