puppeteer与splash问题

来源:12-4 计算出滑动的距离

慕工程0291652

2021-01-01

我们在课程的中使用的是selenium,可以加载js渲染回来的数据以及模拟用户的行为。
1、而puppeteer也是处理js渲染的,而splash也是处理js渲染的, 到底scrapy配合跟这三者中的哪一个才好用??
2、我在你的课程里学了selenium,我应该接下来去学哪一个才适合之类的,你能给我一个建议么

写回答

2回答

慕粉4246479

2021-06-14

我也有同样的疑问。 splas与scray集成很简单,但是目前运行下来splash可以自动加载js,但是对xhr请求的数据一直渲染不出来。

是不是splash不支持ajax?

puppeteer支持ajax吗?

0
1
bobby
puppeteer的python版本好像很久不更新了,如果要使用建议使用nodejs版本的,然后通过grpc和python交互即可
2021-06-15
共1条回复

bobby

2021-01-02

puppeteer目前看来发展态势最好,但是puppeteer最好是使用nodejs版本的,如果想在python中调用nodejs的逻辑 最好了解一下grpc

0
2
bobby
回复
慕工程0291652
grpc网上的资料很完善 grpc就是一个远程的rpc框架 可以跨任何语言交互 https://www.jianshu.com/p/6e5f6f1280b9
2021-01-04
共2条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程