scrapy+selenium滚动翻页

来源：1-1 python分布式爬虫打造搜索引擎简介

qq_多爱一下_03725241

2022-04-24

1、老师我现在用scrapy+selenium技术去爬评论数据，别人现在设计的是一种滚动翻页的模式，每次显示5条数据，但是评论数据却有几十万条，我如何加速这个爬虫效率，有没有好的方案？
2、我也看了一下网站获取评论的滚动地址，访问一次就没有了，只能用一次。

写回答

1回答

bobby

2022-04-25

这种情况要么看前端源码看看请求是如何构造的，要么就不停的多启动几个selenium去不停的滚动下拉

bobby

qq_多爱一下_03725241

多启动几个selenium去请求多个视频，多个selenium肯定没法加速同一个视频的访问的，不停的下拉就是控制selenium拉到底

2022-04-28

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 4