提问

我没学过爬虫,但我想学爬虫,可通过看这门课可以学会爬虫吗?

亲,您好~爬虫是一门综合技术,分为网页端抓取、app端抓取、软件系统抓取。抓取技术和思路基本上是通用的,一通百通。本实战课程是针对app应用数据抓取的。由浅入深,从环境搭建到项目实战。遇到问题可以在问答区提问,讲师会在第一时间回复,也有技术讨论群,与讲师、同学一起学习祝您学习愉快~

3

请问老师这个课讲的结果最后能支持大量抓取吗? 比如一天500万呢?

亲,您好~一般来说,一台手机,一天能抓取5万条数据,如果想在一天之内抓取500万条,则需要部署100台手机,那么这100台手机集中管理就是个问题。本课程目的在于提供一种不需要app应用逆向的抓取方法,能够满足一些中小型企业,十万数据量每天的需求,所以本课程不需要你掌握安卓,java等语法基础,就可以实现App应用数据的抓取!祝您学习愉快~

1

买了课程能不能有问题能不能找老师辅导啊?

亲,您好~课程设有问答区,可以随时在问答区提问呢,老师会亲自帮你解惑。祝您学习愉快~

0

课程内容包括动态切换ip代理吗

亲,您好~课程内容包含调用第三方代理池,是应用于爬虫逻辑的,不是应用于手机端的.祝您学习愉快~

7

可不可以不用手机,直接用协议来抓取数据呢

亲,您好~一般来说app在不加密的情况下,我们通过抓包工具是可以获取到请求数据的接口的,这样我们是可以通过requests 或者scrapy来抓取数据的。但是加密的app目前越来越多了,要么通过appium等自动化工具模拟点击滑动等操作,再利用抓包工具来解析数据即可。要么要通过逆向app的方法来破解,要求技术含量高,涉及的知识范围广,本课程是通过appium自动化操作app,利用mitmdump来解析数据方法来抓取数据的,由浅入深。讲师预计在19年下半年出app逆向课程,敬请期待祝您学习愉快~

4

哇,终于出APP数据抓取的课程啦,买买买!!挺慕课网!

亲,您好~是哇,超实用的技能,很多程序员都想掌握,本课程是从环境搭建到App数据抓取的完整实战流程,同学加油!祝您学习愉快~

4

能否爬取数据的同时下载付费视频呢?

亲,您好~一般来说仅能抓取自己所购买的付费视频,未购买的是无法抓取的,因为他涉及到权限问题,慕课网的视频的安全性做的还是不错的。是经过加密的,因此即使抓取下来了,也无法解析。祝您学习愉快~

3

可以抓取微信朋友圈吗,其不是http通讯

亲,您好~可以进行朋友圈数据抓取,可以在模拟滑动时直接返回朋友圈文本数据,图片数据可以通过自动化截图实现。祝您学习愉快~

3

python 零基础 可以学习吗

亲,您好~不可以哦,需要一定的python基础,如函数封装,模块调用等,建议先学习python语法基础,慕课网有相关实战的:https://coding.imooc.com/class/136.html祝您学习愉快~

3

学完之后,能否爬去得到APP这类软件么

亲,您好~得到app音频数据抓取思路与其他app数据抓取思路类似,可以通过本课程所示示例学习,完成抓取祝您学习愉快~

2

本课程是在Linux下开发的吗?

亲,您好~本课程是在windows环境下开发的,python是跨平台语言,代码编辑完成后,可以在linux/windows平台上运行。课程一共介绍了两款模拟器,夜神只能在windows上运行,genymotion可以在windows和ubuntu上运行。祝您学习愉快~

2

请问老师,这个能不能抓取到腾讯新闻,新浪新闻等一些主流的门户网站的数据呢?

亲,您好~可以的,思路都是通用的,本实战课程的抓取思想是利用移动端自动化加数据包解密实现的,所以腾讯新闻,新浪新闻都是可以抓取的.祝您学习愉快~

2

可以应用于社交APP上给别人发送消息吗?

亲,您好~是可以的,可以通过appium自动化控制app,发送消息祝您学习愉快~

1

老师,这个可以跟接口测试用一起吗,抓取接口分析

亲,您好~是可以的,抓包工具负责抓取接口,并进行分析,appium负责模拟操作,如滑动、点击、翻页、截图等操作。在抓包工具这块,我们介绍了两款抓包利器,分别是fiddler和mitmproxy。mitmproxy中的mitmdump组件可以和Python脚本交互,更加方便于开发和测试祝您学习愉快~

1

所谓爬虫抓取APP数据是不是就最终做出一个类似于爬取对象的APP 或者网站呢,还是啥东西?

亲,您好~爬虫也叫蜘蛛,是一种互联网上公开数据的一种方法。譬如说,百度搜索引擎核心技术就是爬虫,我们可以通过JAVA,python等语言编写爬虫脚本和项目,当然也可以开发出爬虫产品,用于商业化祝您学习愉快~

1
已经到底部,没有更多内容了