老师 selenium如何提速

首页课程实战体系课手记专栏慕课教程

老师 selenium如何提速

来源：8-10 cookie禁用、自动限速、自定义spider的settings

慕沐3486955

2021-07-24

老师 selenium如何提速，公司说爬取速度太慢了要求我优化速度😂

写回答

1回答

bobby

bobby

2021-07-26

参考这里 https://blog.csdn.net/qq_34725782/article/details/97384999
使用分布式爬虫将爬虫运行到多态服务器上
采用分析请求的方法而不是采用selenium
采用docker将爬虫部署成多个docker容器运行在一台服务器上

1

1

慕沐3486955

好的👌 感谢老师

2021-07-28

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5831 学习 · 6293 问题

相似问题

selenium解析速度过慢的问题

回答 1

scrapy+selenium滚动翻页

回答 1

为什么要使用selenium

回答 1

selenium模拟微博登录后，对某一个url请求，返回来的source_page仍没有加载script脚本。

回答 1

老师，有些网站下一页的url是js生成的 selenium直接点击报错

回答 1

打开慕课网App查看更多内容