Selenium 返回乱码

来源:9-6 selenium的安装和使用

FridericusRex

2021-03-20

老师请问我在爬取期货网站的时候发现是动态加载的,就打算用selenium来爬取。不论是用id还是css选择器还是xpath,爬取出来的结果都是这样的,您看:
图片描述
请问是遇到反爬了吗?

写回答

3回答

FridericusRex

提问者

2021-04-03

老师我正则表达式可以提取出这个data后面的数值了,但是放到爬虫上面的话它显示“expected string or bytes-like object”,因为我这个Selector 取出的是selector list,而不是string类型,请问怎么办呢?//img.mukewang.com/szimg/606832e90932433a29781902.jpg

0
2
bobby
回复
FridericusRex
好的、
2021-04-05
共2条回复

FridericusRex

提问者

2021-04-03

谢谢老师,现在我内容已经可以爬下来了。但是请问我怎么单独吧这个data后面的数字取出呢?请问是要用上正则表达式吗?//img.mukewang.com/szimg/606821930908501127591547.jpg

0
0

bobby

2021-03-22

这里是正确的 因为你使用的是selenium的find所以查询出来的元素类型是selenium的类型,当然不会是scrapy的类型了

0
2
bobby
回复
FridericusRex
将selenium的page_source用于生产一个scrapy的selector对象 然后使用xpath来获取
2021-03-25
共2条回复

Python爬虫工程师实战 大数据时代必备

慕课网严选精品教程,高质量内容+服务!

2377 学习 · 1158 问题

查看课程