Spark实战大数据离线与实时项目 整合大数据生态圈多个框架
Michael_PK | 资深大数据架构师
整合大数据生态圈多个框架(Spark/Hbase/Redis/Hadoop) ,Spark大技术栈的企业级应用
¥399.00
课程服务
课程讲师
Michael_PK
资深大数据架构师
八年互联网公司一线研发经验,担任大数据架构师。 主要从事基于Spark/Flink为核心打造的大数据公有云、私有云数据平台产品的研发。 改造过Hadoop、Spark等框架的源码为云平台提供更高的执行性能。 集群规模过万,有丰富的大数据项目实战经验以及授课经验(授课数千小时,深受学员好评)。
评价评分9.95
PK大佬的课依旧那么燃爆,我喜欢这个进阶课程,作为提升自己,关键和我们公司的架构很像:Spark+HBase, 关键我想说,大佬的课就是那么通俗易懂,关键怼源代码 怼官网,这个我真的很喜欢! 期待进阶课程之后的,更加一层楼的大佬课程!我会一如既往的支持PK大佬。----来自码农圣地西二旗的菜鸟至上
08-18
无意间发现本课程,和我现在的研发工作非常贴近,收获颇丰,借鉴了PK哥的思路,将课程中的优化点在生产上使用起来。特别是流式部分解决了生产上遇到的棘手问题,由于现在的处理没很好处理offset,根据PK哥讲解思路封装了offset的管理,结合限速和背压,生产上的业务跑起来丝滑的顺畅。只是我们在生产上遇到了一个问题:Streaming处理完并入库,但offset未提交作业就挂了,下次消费时这批offset数据还会重新读取处理并入库,导致入库数据的重复,希望PK哥指导下。PK哥讲解思路清晰、节奏紧凑,非常赞,意犹未尽。顺便问问PK哥啥时候讲结构化流,部门正调研这方面的技术,但遇到很多的坑,脑袋疼...
咨询更多
相关学习路线
相关课程
内容实用
9.94
通俗易懂
9.96
逻辑清晰
9.96
07-29
PK大佬的课依旧那么燃爆,我喜欢这个进阶课程,作为提升自己,关键和我们公司的架构很像:Spark+HBase, 关键我想说,大佬的课就是那么通俗易懂,关键怼源代码 怼官网,这个我真的很喜欢! 期待进阶课程之后的,更加一层楼的大佬课程!我会一如既往的支持PK大佬。----来自码农圣地西二旗的菜鸟至上
讲师回复:首先很感谢对我课程的支持。你应该是一路跟着我的大数据课程过来的,应该对我的授课风格很熟悉了,我的风格就是官网、关联源码搞起,这才是学习的正确姿势。希望你能把我们课程的内容消化好,Spark Flink是现在大数据就业都需要掌握的技术
08-18
无意间发现本课程,和我现在的研发工作非常贴近,收获颇丰,借鉴了PK哥的思路,将课程中的优化点在生产上使用起来。特别是流式部分解决了生产上遇到的棘手问题,由于现在的处理没很好处理offset,根据PK哥讲解思路封装了offset的管理,结合限速和背压,生产上的业务跑起来丝滑的顺畅。只是我们在生产上遇到了一个问题:Streaming处理完并入库,但offset未提交作业就挂了,下次消费时这批offset数据还会重新读取处理并入库,导致入库数据的重复,希望PK哥指导下。PK哥讲解思路清晰、节奏紧凑,非常赞,意犹未尽。顺便问问PK哥啥时候讲结构化流,部门正调研这方面的技术,但遇到很多的坑,脑袋疼...
讲师回复:感谢对我课程的支持。首先表扬下,能把我们学的东西落地,这才是我们学习的目的,学以致用。offset管理能封装起来使用,说明是经过思考的。你说的问题的确是存在的,可以在课程群里找我QQ私聊
07-08
一路跟着PK哥的大数据课程学过来的,年初也正式转型成功做起了大数据,目前公司刚好也要用到类似的组件与架构,正好跟着pk哥学一把,真是来得太及时了,给力!
讲师回复:一路走来,非常感谢小伙伴们的支持,课程能把大家带入大数据行业也是我个人觉得非常开心的事情,希望小伙伴们也能将我们讲的东西在工作中使用并扩展,那将是极好极好的。
09-29
本课程感触最深的就是关于项目的架构及技术选型方面,同样的一个项目在技术选型的时候可能会有差异,根据老师所讲解的离线部分的架构,使用HBase作为数据处理后的落地点,还是非常赞的,HBase能承载的数据量非常大,而且可以利用到HBase的一些特性,使得后续的统计分析性能更好。根据老师讲的,我自己也基于讲解的架构做了进一步的扩展,在HBase上再架了一层Phoenix,使用后续使用SQL来进行数据分析更加简单,感谢老师对于拓展Phonenix框架时遇到的问题,给了我很多建议以及注意事项!老师的课程讲解以及解答对我的帮助非常大
讲师回复:感谢对我课程的支持。在不同公司对于类似业务采用的架构多少会有点区别,但是根本性的原理还是类似的,要达到举一反三的效果,不能被一个东西套死,要发散思维,条条大道通罗马
10-07
good -->好,great --> (๑•̀ㅂ•́)و✧
讲师回复:感谢对我课程的支持,在good的基础上,希望你们能掌握好,然后根据我留下的问题进行思考和拓展
09-17
PK老师是我的大数据启蒙老师,继续撸教程,加油!
讲师回复:感谢对我课程的支持,很荣幸啊,启蒙老师,呵呵。希望跟随我的课程的步伐,从hadoop撸起,然后到scala、spark体系/flink,最终转型大数据,就业
08-01
通俗易懂,知识介绍的也很全面,对提高很有帮助
讲师回复:感谢对我课程的支持。本门课程是不讲解Spark的基础知识,因为sql和streaming都有对应的课程的支持,本课程直接上来就是基于项目进行分析和实现,也希望你能通过这课程提升自己,为以后大数据岗位就业做好准备
07-26
老师的课程都买了,确实是进阶课。希望再出更高级的课程,会继续支持。
讲师回复:感谢一路过来对我课程的支持,希望在掌握好前面基础课程的同时,通过本课程对实战内容有更好的掌握
07-12
本人做安卓ios已经7年,接触大数据断断续续也有1年多,对于大数据常用的组件基本都接触过,原理等也都熟悉,就是缺乏实际项目的练手和锻炼,感谢PK,受益匪浅,好多地方有一通百通,醍醐灌顶的感觉。真心感谢
讲师回复:感谢对我课程的支持,能通过一个案例举一反三,最也是我做课程想要达到的效果
07-09
PK哥的视频还是一如既往的赞!还是那个熟悉的怼源码,怼生产环境。最近在学习大数据处理部分的资料和教程,看了很受启发。
讲师回复:感谢对慕课网以及本人课程的支持,希望大家能学以致用,看完视频,自己动手实操起来
10-20
跟老师的其它课程稍有重复,不过依然很棒
05-18
马上要去实习了,课程帮助很大,奥力给
04-16
老师讲的很好,很用心的帮学生解决问题
04-03
老师讲得很到位,重点突出,很实用!
02-20
老师思路清晰,受益匪浅
4天前
用户未评价,默认好评!
02-13
用户未评价,默认好评!
02-11
用户未评价,默认好评!
02-10
用户未评价,默认好评!
01-12
用户未评价,默认好评!
大数据离线&实时处理全家桶
问答专区
讲师提供答疑服务,帮助大家扫除学习障碍,达成学习效果
源码开放
课程提供全部源码,你可以自行修改、优化
教辅材料
讲师提供各种原创学习资料,帮助消化课程知识,扩展技术视野
Git代码存储
所有项目源码都通过Git方式托管及下载
视频更新
2019-12-10 晚9点, 讲师在课程技术讨论群里针对“Spark3新特性”的内容进行了分享,分别从新特性有哪些,如何进行动态分区裁剪、外部数据源V2以及自适应查询执行的角度进行剖析,帮助同学们实现与Spark3的近距离亲密接触。现已将视频同步更新。
视频更新
新增针对“基于Spark定制ETL框架”的内容,帮助同学们了解Pipeline的处理方法,ETL中可能会遇到的问题;掌握基于Spark ETL框架的设计及使用。
07-29