实战

回到首页 个人中心 反馈问题 注册登录
下载APP
首页 课程 实战 体系课 手记 专栏 慕课教程

Spark3实时处理-Streaming+StructuredStreaming实战

Michael_PK | 资深大数据架构师

¥488

内容
课程难度
进阶
视频时长
23小时
学习人数
339人
课程评分
10.00分
简介 目录 服务 评价 套餐省
已完结

第1章 【项目启动】项目背景及架构分析

1-1  课程概览 (15:06)试看

1-2  ***学前必读***（助你平稳踩坑，畅学无忧，课程学习与解决问题指南）

1-3  课程目录 (01:31)

1-4  项目目的 (03:15)

1-5  项目流程 (03:56)

1-6  技术选型 (04:21)

1-7  项目总体架构 (03:05)

1-8  项目架构V1版本 (08:11)

1-9  项目架构V2版本 (02:57)

第2章 【环境部署】基础开发环境搭建

2-1  课程目录 (01:39)

2-2  OOTB环境的使用介绍 (11:34)

2-3  JDK部署 (04:49)

2-4  Scala部署 (04:55)

2-5  Maven部署(一定要仔细听) (07:42)

2-6  Hadoop配置 (09:10)

2-7  Hadoop格式化&启停 (08:31)

2-8  ZK部署 (06:04)

第3章 【数据采集】构建日志服务器

3-1  课程目录 (01:49)

3-2  数据产生和上报流程 (08:02)

3-3  构建多Module工程 (12:00)

3-4  快速构建第一个Spring Boot应用程序 (09:47)

3-5  SpringBoot热部署 (03:50)

3-6  关于Annotation的补充 (09:58)

3-7  yml配置文件的使用 (03:08)

3-8  开发日志服务Controller (05:17)

3-9  客户端上报日志功能开发 (11:19)

3-10  客户端与日志服务器联调测试 (07:46)

3-11  客户端日志上报到日志服务器并落盘 (06:17)

3-12  日志服务部署到服务器上运行并联调 (05:18)

3-13  对接项目数据到日志服务器 (05:18)

3-14  作业 (04:32)

第4章 【数据收集】基于Flume构建分布式日志收集

4-1  课程目录 (03:32)

4-2  产生背景 (04:06)

4-3  采集和收集的区别 (05:59)

4-4  Flume概述 (05:44)

4-5  Flume版本迭代 (01:43)

4-6  Flume体系架构与三大核心组件 (13:28)

4-7  业界数据收集框架对比 (09:50)试看

4-8  Flume部署 (04:58)

4-9  Flume Agent编程案例 (15:21)

4-10  Event (02:24)

4-11  Flume经典部署方案 (08:00)

4-12  Flume收集文件数据到HDFS需求分析 (08:21)

4-13  Flume收集文件数据到HDFS实现 (07:25)

4-14  Flume收集文件夹数据到HDFS (08:32)

4-15  TailDirSource实战(非常重要) (13:00)

4-16  Flume拦截器二次开发需求分析 (09:10)

4-17  Flume自定义拦截器开发(非常重要) (09:23)

4-18  Flume自定义拦截器Agent配置(非常重要) (06:50)

4-19  Flume自定义拦截器功能测试 (06:18)

4-20  使用Flume收集日志服务器落地的日志数据 (03:18)

4-21  面试题谈谈你对Flume高可用的看法(重要) (08:09)

4-22  本章作业 (03:46)

4-23  【夯实学习成果，攻克面试官】Flume面试题

第5章 【消息队列】基于Kafka构建实时数据交换

5-1  课程目录 (01:55)

5-2  Kafka概述 (05:56)

5-3  Kafka核心术语(重要) (18:50)

5-4  Kafka单Broker部署及使用 (13:15)

5-5  Kafka多Broker部署及使用 (11:07)

5-6  容错性测试 (03:14)

5-7  Kafka Producer API编程 (11:22)

5-8  Kafka Consumer API编程(重要) (07:37)

5-9  Kafka对接Flume收集的数据 (06:37)

5-10  对接项目数据到Kafka (03:16)

5-11  Kafka数据存储(非常重要) (14:07)试看

5-12  面试题谈谈你对acks的看法(非常重要) (12:50)

5-13  【夯实学习成果，攻克面试官】Kafka面试题

5-14  【讨论题】谈谈你对Kafka的认识

第6章 【实时流处理】Spark Streaming核心API及编程初探

6-1  课程目录 (04:07)

6-2  Spark Streaming概述 (10:50)

6-3  Spark Streaming宏观角度了解 (06:52)

6-4  基于IDEA+Maven构建第一个流处理应用程序 (13:31)

6-5  本地功能测试 (06:11)

6-6  官网案例解读 (04:25)

6-7  Spark部署及服务器端测试 (11:41)

6-8  StreamingContext编程注意事项 (11:12)

6-9  核心概念DStream (07:14)

6-10  核心概念Input DStream和Receiver (07:57)

6-11  实战之读取文件系统的数据 (07:28)

6-12  常用Transformation操作 (08:07)

6-13  实战之日志数据过滤RDD方式实现 (11:02)

6-14  实战之日志数据过滤transform方式实现 (09:12)

6-15  实战之带状态的应用程序开发 (11:57)

6-16  常用Output操作 (09:48)

6-17  实战之统计结果写入数据库(非常重要) (12:01)

6-18  快速了解Spark SQL进行数据分析 (05:31)

6-19  实战之SparkStreaming和Spark SQL的整合使用 (03:50)

6-20  面试题之谈谈你对消费语义的认识 (13:44)

6-21  【夯实学习成果，攻克面试官】Spark Streaming面试题

第7章 【实时流处理】应用Spark Streaming实现数据分析及调优

7-1  课程目录 (05:21)

7-2  项目需求介绍 (03:02)

7-3  论Offset对整个实时作业处理结果的影响 (10:56)

7-4  图解SparkStreaming整合Kafka offset的管理机制 (05:32)

7-5  使用checkpoint维护offset (09:40)

7-6  自定义维护offset的表结构设计 (05:09)

7-7  使用ScalikeJDBC对MySQL进行读写操作 (15:06)

7-8  Offset的获取及存储注意事项 (07:11)

7-9  自定义维护Offset存储实现 (08:42)

7-10  自定义维护Offset读取实现 (12:16)

7-11  Offset管理封装及作业 (05:27)

7-12  数据流打通及日志字段描述 (06:54)

7-13  数据清洗功能 (12:00)

7-14  功能三需求分析 (04:37)

7-15  HBase初探 (06:36)

7-16  HBase部署 (04:07)

7-17  HBase核心API编程 (19:05)

7-18  需求三功能实现 (08:36)

7-19  功能四功能实现 (03:39)

7-20  功能扩展及实现思路 (05:54)

7-21  Spark调优之序列化 (14:31)

7-22  调优之序列化在SS中的使用场景 (07:00)

7-23  调优之设置合理的Batch Interval (09:06)

7-24  调优之限速 (08:35)

7-25  集群规模评估 (15:42)

7-26  集群部署进程分布规划 (07:44)

7-27  HBase逻辑模型 (09:53)

7-28  HBase物理存储模型 (05:49)

7-29  HBase架构宏观角度分析 (03:33)

7-30  HBase架构组件职责 (07:42)

7-31  面试题之HBase寻址机制(重要) (13:39)

7-32  面试题之HBase写数据流程(重要) (07:53)

7-33  面试题之HBase读数据流程 (03:51)

7-34  项目打包并运行在YARN上 (11:26)

7-35  HBase表及rowkey设计原则

7-36  本章总结及作业 (11:29)

7-37  【夯实学习成果，攻克面试官】Spark Streaming面试题

7-38  【讨论题】谈谈你对HBase的认识

7-39  【讨论题】SparkStreaming对接Kafka的关键点

第8章 【实时流处理】Structured Streaming企业级应用

8-1  课程目录 (06:05)

8-2  SparkStreaming的不足 (13:14)

8-3  Structured Streaming概述 (06:13)

8-4  快速开发第一个Structured Streaming应用程序 (13:24)

8-5  Structured Streaming编程模型 (10:03)

8-6  处理EventTime和延迟数据 (09:45)

8-7  使用SQL完成统计分析 (02:53)

8-8  对接csv数据源数据 (06:09)

8-9  对接分区数据源数据 (04:33)

8-10  对接Kafka数据源数据 (10:31)

8-11  基于EventTime的窗口统计原理详解 (05:33)

8-12  基于EventTime的窗口统计功能实现 (10:35)

8-13  延迟数据处理及Watermark (11:06)

8-14  File Sink (05:31)

8-15  Kafka Sink (03:19)

8-16  ForeachSink到MySQL (13:37)

8-17  容错语义 (03:57)

8-18  【夯实学习成果，攻克面试官】Structured Streaming 实战面试题

8-19  【讨论题】实时处理框架选型问题

第9章 【实时流处理】应用Structured Streaming实现数据分析及调优

9-1  课程目录 (02:05)

9-2  项目需求 (03:39)

9-3  数据清洗 (09:54)

9-4  Redis概述及部署 (07:46)

9-5  Redis命令行操作快速入门 (09:04)

9-6  通过Jedis API操作Redis (04:50)

9-7  将统计结果输出到Redis (09:34)

9-8  打包到服务器运行 (04:13)

9-9  调优及作业 (08:05)

9-10  【夯实学习成果，攻克面试官】Structured Streaming 面试题

第10章 【数据可视化】使用Echarts完成数据展示

10-1  课程目录 (02:36)

10-2  Spring Data概述 (06:07)

10-3  Spring Data整合MySQL开发环境准备及实体类开发 (09:41)

10-4  Spring Data存取MySQL功能开发及测试 (10:48)

10-5  Controller层开发及测试 (04:02)

10-6  常用可视化框架介绍 (09:08)

10-7  Echarts图形形成方式 (03:32)

10-8  Spring Boot整合Echarts快速开发一个可视化展示功能 (08:03)

10-9  Spring Data整合HBase开发环境搭建 (08:06)

10-10  Spring Data整合HBase查询功能开发及测试 (15:13)

10-11  Spring Data整合Redis查询功能开发及测试 (12:32)

10-12  可视化项目部署 (06:37)

10-13  前后端服务部署及效果演示 (07:13)

10-14  前后端交互流程分析 (11:28)

第11章 【拓展&经验分享】核心梳理及面试指导

11-1  课程目录 (01:00)

11-2  HR面试常考点一 (08:28)

11-3  HR面试常考点二 (07:45)

11-4  HR面试常考题三 (07:17)

11-5  HR面试常考点作业 (01:26)

11-6  简历编写及面试准备 (14:43)

11-7  Spark&NoSQL实时数据处理实践案例分享 (17:31)

11-8  课程总结与展望 (06:18)

11-9  【讨论题】谈谈离线处理和实时处理的区别

10.00

内容实用

10.00

通俗易懂

10.00

逻辑清晰

10.00

为梦想执着

07-06

好评

看了上面有位童鞋说这个课程最牛逼的课程,我也想说一句老师真的好厉害，之前花了几万在北京某机构线下学习了大数据，但是没有入行一直很惋惜，后面又做java开发了，现在不死心还是想走大数据这条路，所以买套课程复习实战复习下知识点，然后这套课程刷新了我以前学习大数据的认知，之前老是放在Linux集群操作的步骤上差点让自己放弃了，课程还没学完，但是我从这里又燃起了从事这行的信心，课程绝对物超所值，顺便问问老师需要喝水么，我去帮您端过来^_^

Panda_io

10-08

好评

这是我买过最牛逼的大数据课程，全程把难以理解的知识点讲得通俗易懂。跟着老师一步一步把官方文档读透彻，把官方例子一个一个讲活，帮我们养成阅读官方文档的习惯，授之以渔而不是授之以鱼。完整搭建了一个流处理技术栈体系，课程全程干货参与感很强，这门课绝对物超所值，刷新的你对大数据的认识，搭配老师的《学习Scala进击大数据Spark生态圈》简直不要太香，我不是托，PK牛逼！！！

慕少7272350

08-27

好评

看书太累了抓不到重点，还是看视频接受度高听老师讲好安逸呀还会把重点给你画出来太省事拉， 老师讲课的内容由浅入深一步步带着你，举的例子也挺生动的和生产比较贴近。一口气看了一个小时，感觉学到挺多的。 平常对flume也就是使用配置级别的，看完视频加深了我的理解，对保证文件收集的高可用有了全新的认识。 从flume到kafka各种实时处理问题都讲的很详细，对实时整套流程有了系统的认识，期待后续的更新。

讲师回复
书上写的偏理论的东西比较多，我们上课的内容是经过高度提炼的，并融入我在工作中的一些经验，带着你们来一步步完成，所以学起来不仅是从时间还是从效果上会好不少。单个框架要跑起来其实难度不高，但是在生产上一个全流程是需要几个框架配置使用，那么这事情需要考虑的事情就比较多了，在保证基础功能能跑通的前提下，还得考虑各个框架衔接时如何保证可靠性以及高可用性，这是生产上必须要考虑的，这也是我们这个课程的重点所在，一步步带你们分析可能存在的问题以及解决思路和方案

qq_慕函数5257048

08-24

好评

看见PK的新课就直接点进来了，好东西先收藏，又是肉疼了一把还是下手了。从慕课的大数据的基础入门入坑的，还是挺喜欢pk的讲课风格(ps 自学还是不喜欢讲课太绕的。。。，额。 本人不太聪明），东西讲得挺细的，我很喜欢课里这些抽象过的简化小例子，后面还真用到过，没有这个还真不好理解。但是，我还是要吐槽一下，每次临时加课的东西都挺有深度的，下次有福利课群里公告一下，我老没看见。。。。。(血亏)

讲师回复
感谢老铁的支持，这门课程设计时就定好了，会在一些直播的主题分享的，你可以加到课程的QQ群里，到时候有什么加餐的活动第一时间会在群公告中发出，那么就不会出现“完美的错过”的情况了。PS：后续还有不少内容的迭代更新的，不仅仅只有现在发布的这些内容

慕盖茨3022400

08-27

好评

PK出品，必属精品，一如既往的好，课程深入浅出，讲解透彻，代码简洁明了，逻辑清晰易于理解，内容贴近生产，深刻解析源码，学习spark实时流处理与结构化数据的不二之选

qq_北辰元凰_0

05-19

好评

老师讲课逻辑清晰，案例充组。通俗易懂，作为小白的我一步一步跟着老师学习，让我养成了良好的学习习惯。

月亮和西多士

12-11

好评

来支持一下，挺全面的与门课程

啊哈112

09-27

好评

挺喜欢PK的，支持一下

慕粉0329094

11-24

好评

用户未评价，默认好评！

慕虎6447651

11-23

好评

用户未评价，默认好评！

相依包工头

10-13

好评

用户未评价，默认好评！

chandler1142

09-24

好评

用户未评价，默认好评！

兔八哥

09-22

好评

用户未评价，默认好评！

fcclzydouble

09-09

好评

用户未评价，默认好评！

漓夕

08-22

好评

用户未评价，默认好评！

weixin_慕运维5050093

08-21

好评

用户未评价，默认好评！

weixin_宝慕林1519788

07-21

好评

用户未评价，默认好评！

super_xiang

07-20

好评

用户未评价，默认好评！

rocybert

06-24

好评

用户未评价，默认好评！

慕的地4122551

05-14

好评

用户未评价，默认好评！

已经到底部，没有更多内容了

咨询

收藏

购物车
加入购物车 立即购买
领取优惠券
一键领取
环境参数
Spark
3.x
Hadoop生态
cdh5.16.2
Kafka
2.5.0
Redis
6.0.6
Scala
2.12
Maven
3.6.3
完成
服务

问答专区

讲师提供答疑服务，帮助大家扫除学习障碍，达成学习效果

源码开放

课程提供全部源码，你可以自行修改、优化

教辅材料

讲师提供各种原创学习资料，帮助消化课程知识，扩展技术视野

Git代码存储

所有项目源码都通过Git方式托管及下载

完成
日志
完成
适合人群
完成
技术储备
完成