用selenium+chromedriver 为何取不到这个网站的数据。。。

来源:9-1 selenium动态网页请求与模拟登录知乎

囡2囡

2017-10-25

正在学习Scrapy 有此疑惑

用selenium+chromedriver 为何取不到这个网站的数据。。。看代码 其飞行数据全是由js生成的,显示在下图iframe中

print结果只能爬取到源码,而无法显示js生成的部分


http://img1.sycdn.imooc.com/szimg/59f0384c0001436625601600.jpg


写回答

1回答

bobby

2017-10-27

你先在chromdriver浏览器中看看这块儿数据 浏览器加载没有  https://stackoverflow.com/questions/31835972/get-iframe-src-content-using-selenium-python 也可以通过这个方法取一下iframe的数据

0
1
囡2囡
非常感谢!已解决,这个网站更简单一点 src的链接是固定的,我直接用iframe的链接爬就行啦
2017-10-27
共1条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程