有些页面是经过js渲染回来的问题

来源:12-5 计算滑动轨迹

慕工程0291652

2020-12-31

有些页面是经过js渲染回来的,
我用selenium接收:temp_xc = Selector(text=browser.page_source)
这种的怎么用item_loader接收处理回来的数据,
item_loader = LagouJobItemLoader(item=LagouJobItem(), response=response)
这里面的参数该怎么写?
还有splash好用还是selenium的好用??

写回答

1回答

bobby

2021-01-01

有些页面是js渲染回来的 那么你最好是通过browser.page_source 来返回,至于response的话 你可以先通过browser.page_source来实例化一个reponse 然后将reponse设置到item_loader中

0
2
bobby
回复
慕工程0291652
不是这样 response得是一个reponse对象 不是selector
2021-01-03
共2条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程