selenium使用

来源:14-9 论坛网站-反爬的分析

weixin_慕村3447008

2019-09-06

老师好,在7-8小节中说,因为csdn网站设置了反爬,所以我们使用selenium。那如果直接使用request.get().text能返回html页面内容,是不是就可以不使用selenium。还是说无论什么页面都建议使用selenium呢?因为在操作的过程中发现,使用selenium程序运行的比较慢,cpu和内存都占满了

写回答

1回答

Ethreal

2019-09-09

那你得分场景 ,比如你requests发起请求 拿到完成的html或者是你想要的数据,但目前大部分的网页都是前后端分离的动态网页,比如有的经过js渲染去展现这种网站往往就不能用requests,简单粗暴的方法可以用你说的来,但还是用成本代价小的 requests请求抓包分析下 目标网站过于复杂 再用selenium 这些模拟浏览器的工具去做

1
0

Python爬虫工程师实战 大数据时代必备

慕课网严选精品教程,高质量内容+服务!

2377 学习 · 1158 问题

查看课程