实战
下载APP

Spark实战大数据离线与实时项目 整合大数据生态圈多个框架

Michael_PK | 资深大数据架构师

¥399.00

内容
课程难度
进阶
视频时长
16小时
学习人数
537人
课程评分
9.95分
简介 目录试看 评价 套餐省305

课程服务

服务
问答专区 源码开放 教辅材料 Git代码存储
环境
Hadoop生态 CDH(5.15.1)
日志
共2条日志,最近更新2条

课程讲师

Michael_PK

资深大数据架构师

八年互联网公司一线研发经验,担任大数据架构师。 主要从事基于Spark/Flink为核心打造的大数据公有云、私有云数据平台产品的研发。 改造过Hadoop、Spark等框架的源码为云平台提供更高的执行性能。 集群规模过万,有丰富的大数据项目实战经验以及授课经验(授课数千小时,深受学员好评)。

评价评分9.95

慕虎6395684

07-29

好评

PK大佬的课依旧那么燃爆,我喜欢这个进阶课程,作为提升自己,关键和我们公司的架构很像:Spark+HBase, 关键我想说,大佬的课就是那么通俗易懂,关键怼源代码 怼官网,这个我真的很喜欢! 期待进阶课程之后的,更加一层楼的大佬课程!我会一如既往的支持PK大佬。----来自码农圣地西二旗的菜鸟至上

慕仙9089341

08-18

好评

无意间发现本课程,和我现在的研发工作非常贴近,收获颇丰,借鉴了PK哥的思路,将课程中的优化点在生产上使用起来。特别是流式部分解决了生产上遇到的棘手问题,由于现在的处理没很好处理offset,根据PK哥讲解思路封装了offset的管理,结合限速和背压,生产上的业务跑起来丝滑的顺畅。只是我们在生产上遇到了一个问题:Streaming处理完并入库,但offset未提交作业就挂了,下次消费时这批offset数据还会重新读取处理并入库,导致入库数据的重复,希望PK哥指导下。PK哥讲解思路清晰、节奏紧凑,非常赞,意犹未尽。顺便问问PK哥啥时候讲结构化流,部门正调研这方面的技术,但遇到很多的坑,脑袋疼...

咨询更多

相关学习路线

<

微信小程序从0基础到精通

微信小程序日益成为前端开发工程师必备开发技能

4步骤·5门课
231人收藏

相关课程

已经到底部,没有更多内容了
9.95

内容实用

9.94

通俗易懂

9.96

逻辑清晰

9.96

慕虎6395684

07-29

好评

PK大佬的课依旧那么燃爆,我喜欢这个进阶课程,作为提升自己,关键和我们公司的架构很像:Spark+HBase, 关键我想说,大佬的课就是那么通俗易懂,关键怼源代码 怼官网,这个我真的很喜欢! 期待进阶课程之后的,更加一层楼的大佬课程!我会一如既往的支持PK大佬。----来自码农圣地西二旗的菜鸟至上

讲师回复:首先很感谢对我课程的支持。你应该是一路跟着我的大数据课程过来的,应该对我的授课风格很熟悉了,我的风格就是官网、关联源码搞起,这才是学习的正确姿势。希望你能把我们课程的内容消化好,Spark Flink是现在大数据就业都需要掌握的技术

慕仙9089341

08-18

好评

无意间发现本课程,和我现在的研发工作非常贴近,收获颇丰,借鉴了PK哥的思路,将课程中的优化点在生产上使用起来。特别是流式部分解决了生产上遇到的棘手问题,由于现在的处理没很好处理offset,根据PK哥讲解思路封装了offset的管理,结合限速和背压,生产上的业务跑起来丝滑的顺畅。只是我们在生产上遇到了一个问题:Streaming处理完并入库,但offset未提交作业就挂了,下次消费时这批offset数据还会重新读取处理并入库,导致入库数据的重复,希望PK哥指导下。PK哥讲解思路清晰、节奏紧凑,非常赞,意犹未尽。顺便问问PK哥啥时候讲结构化流,部门正调研这方面的技术,但遇到很多的坑,脑袋疼...

讲师回复:感谢对我课程的支持。首先表扬下,能把我们学的东西落地,这才是我们学习的目的,学以致用。offset管理能封装起来使用,说明是经过思考的。你说的问题的确是存在的,可以在课程群里找我QQ私聊

碧威009

07-08

好评

一路跟着PK哥的大数据课程学过来的,年初也正式转型成功做起了大数据,目前公司刚好也要用到类似的组件与架构,正好跟着pk哥学一把,真是来得太及时了,给力!

讲师回复:一路走来,非常感谢小伙伴们的支持,课程能把大家带入大数据行业也是我个人觉得非常开心的事情,希望小伙伴们也能将我们讲的东西在工作中使用并扩展,那将是极好极好的。

慕先生3346069

09-29

好评

本课程感触最深的就是关于项目的架构及技术选型方面,同样的一个项目在技术选型的时候可能会有差异,根据老师所讲解的离线部分的架构,使用HBase作为数据处理后的落地点,还是非常赞的,HBase能承载的数据量非常大,而且可以利用到HBase的一些特性,使得后续的统计分析性能更好。根据老师讲的,我自己也基于讲解的架构做了进一步的扩展,在HBase上再架了一层Phoenix,使用后续使用SQL来进行数据分析更加简单,感谢老师对于拓展Phonenix框架时遇到的问题,给了我很多建议以及注意事项!老师的课程讲解以及解答对我的帮助非常大

讲师回复:感谢对我课程的支持。在不同公司对于类似业务采用的架构多少会有点区别,但是根本性的原理还是类似的,要达到举一反三的效果,不能被一个东西套死,要发散思维,条条大道通罗马

坤0

10-07

好评

good -->好,great --> (๑•̀ㅂ•́)و✧

讲师回复:感谢对我课程的支持,在good的基础上,希望你们能掌握好,然后根据我留下的问题进行思考和拓展

谁抢了老子的_知秋

09-17

好评

PK老师是我的大数据启蒙老师,继续撸教程,加油!

讲师回复:感谢对我课程的支持,很荣幸啊,启蒙老师,呵呵。希望跟随我的课程的步伐,从hadoop撸起,然后到scala、spark体系/flink,最终转型大数据,就业

小白学大数据

08-01

好评

通俗易懂,知识介绍的也很全面,对提高很有帮助

讲师回复:感谢对我课程的支持。本门课程是不讲解Spark的基础知识,因为sql和streaming都有对应的课程的支持,本课程直接上来就是基于项目进行分析和实现,也希望你能通过这课程提升自己,为以后大数据岗位就业做好准备

码_致远

07-26

好评

老师的课程都买了,确实是进阶课。希望再出更高级的课程,会继续支持。

讲师回复:感谢一路过来对我课程的支持,希望在掌握好前面基础课程的同时,通过本课程对实战内容有更好的掌握

JerryloveEmily

07-12

好评

本人做安卓ios已经7年,接触大数据断断续续也有1年多,对于大数据常用的组件基本都接触过,原理等也都熟悉,就是缺乏实际项目的练手和锻炼,感谢PK,受益匪浅,好多地方有一通百通,醍醐灌顶的感觉。真心感谢

讲师回复:感谢对我课程的支持,能通过一个案例举一反三,最也是我做课程想要达到的效果

qq_ykaleo_gqrY38

07-09

好评

PK哥的视频还是一如既往的赞!还是那个熟悉的怼源码,怼生产环境。最近在学习大数据处理部分的资料和教程,看了很受启发。

讲师回复:感谢对慕课网以及本人课程的支持,希望大家能学以致用,看完视频,自己动手实操起来

璀璨年华_

10-20

好评

跟老师的其它课程稍有重复,不过依然很棒

注意这波细节连招

05-18

好评

马上要去实习了,课程帮助很大,奥力给

风零落

04-16

好评

老师讲的很好,很用心的帮学生解决问题

匿名用户

04-03

好评

老师讲得很到位,重点突出,很实用!

知识都学杂了

02-20

好评

老师思路清晰,受益匪浅

慕数据4093774

4天前

好评

用户未评价,默认好评!

慕田峪3266474

02-13

好评

用户未评价,默认好评!

易水寒000

02-11

好评

用户未评价,默认好评!

xyin

02-10

好评

用户未评价,默认好评!

weixin_慕虎2274173

01-12

好评

用户未评价,默认好评!

已经到底部,没有更多内容了
领取优惠券
环境参数
Hadoop生态
CDH(5.15.1)
Spark
2.4
Redis
5.0.5
Linux版本
CentOS(7)
开发工具
IDEA
服务

问答专区

讲师提供答疑服务,帮助大家扫除学习障碍,达成学习效果

源码开放

课程提供全部源码,你可以自行修改、优化

教辅材料

讲师提供各种原创学习资料,帮助消化课程知识,扩展技术视野

Git代码存储

所有项目源码都通过Git方式托管及下载

日志

视频更新

2019-12-10 晚9点, 讲师在课程技术讨论群里针对“Spark3新特性”的内容进行了分享,分别从新特性有哪些,如何进行动态分区裁剪、外部数据源V2以及自适应查询执行的角度进行剖析,帮助同学们实现与Spark3的近距离亲密接触。现已将视频同步更新。

视频更新

新增针对“基于Spark定制ETL框架”的内容,帮助同学们了解Pipeline的处理方法,ETL中可能会遇到的问题;掌握基于Spark ETL框架的设计及使用。