selenium使用
来源:14-9 论坛网站-反爬的分析

weixin_慕村3447008
2019-09-06
老师好,在7-8小节中说,因为csdn网站设置了反爬,所以我们使用selenium。那如果直接使用request.get().text能返回html页面内容,是不是就可以不使用selenium。还是说无论什么页面都建议使用selenium呢?因为在操作的过程中发现,使用selenium程序运行的比较慢,cpu和内存都占满了
写回答
1回答
-
Ethreal
2019-09-09
那你得分场景 ,比如你requests发起请求 拿到完成的html或者是你想要的数据,但目前大部分的网页都是前后端分离的动态网页,比如有的经过js渲染去展现这种网站往往就不能用requests,简单粗暴的方法可以用你说的来,但还是用成本代价小的 requests请求抓包分析下 目标网站过于复杂 再用selenium 这些模拟浏览器的工具去做
10
相似问题