课程爬取网站改版后怎样获取数据？

来源：15-1 获得初始页面内容

慕圣8371177

2018-12-10

老师你好，感谢你提供了这么好的课程。
最近课程网站改版了，通过get无法直接获取导数据，我通过百度搜索后。发现网站似乎用了前端渲染。现在网上提供的思路是：

直接通过破解接口获取数据。
通过headless浏览器获取执行后的数据，然后解析。

请问老师我的想法可行吗？如果可行能否提供下方法2的可行性的代码思路和相应的三方库[工具]

写回答

1回答

ccmouse

2018-12-13

已采纳

谢谢同学的理解。我这门课的主要目的是学习go语言。如何对付各种反爬机制呢，本身是另一个比较大的课题，也是动态比较多，往往对于不同的网站需要不同的技术。
至于如何实现关心的技术，可能简单的问答也很难说清。同学可以跟着工具/库的教程一步步来，上手了就会有感觉。
慕课网上也有其他爬虫的课程，他们在反爬方面会比我这门课多一些内容。

Google资深工程师深度讲解Go语言由浅入深掌握Go语言

语法+分布式爬虫实战为转型工程师量身打造

5995 学习 · 1909 问题

查看课程

相似问题

珍爱网改动了，不能用原来的办法爬了

回答 2

珍爱网的 cityList改成 js文件了，并且加入了一些数字字母怎么爬

回答 4

请问为什么在浏览器访问成功，但是老师的爬虫却显示403错误

回答 1

真爱网现在爬取不了了大家都爬什么网站啊？

回答 2

HTTP Get()无法获取到用户信息

回答 1

打开慕课网App查看更多内容