Spark+ClickHouse实战企业级数据仓库,进军大厂必备
xiaochen | 大数据架构师
掌握数仓构建,完善技术体系,轻松掌握高薪技能
¥399
课程服务
课程讲师
xiaochen
大数据架构师
一线大数据架构师,负责主导多个大型大数据项目的选型、规划和实施。目前主要专注大数据技术架构和大数据产品研发,在公司内部孵化了多款基于Spark、Flink、ClickHouse等开源组件的平台化产品。
评价评分10.00
老师将的很详细,正好需要深入系统的学一学clickhouse
08-19
课程非常棒,加深了对clickhouse的应用和对数仓构建的理解.还带着一步步迭代代码,非常nice
咨询更多
相关学习路线
相关课程
内容实用
10.00
通俗易懂
10.00
逻辑清晰
10.00
12-15
老师将的很详细,正好需要深入系统的学一学clickhouse
08-19
课程非常棒,加深了对clickhouse的应用和对数仓构建的理解.还带着一步步迭代代码,非常nice
08-05
课程的Grok看起来还不错, 我们有大量非结构化的日志需要解析,以前在Logstash中配置Grok解析,但是Logstash性能没办法扩展,用起来还是比较复杂。准备使用Spark做一个自己的Grok数据解析工具,数据源是文件,解析后存到Elasticsearch,老师能提供下实现思路吗?
讲师回复
Grok作为一个通用的数据解析器,非常擅长对复杂的非结构化的数据进行解析。可参考"6-6 业务数据库的数据同步"中配置方式, 使用HOCON格式的配置文件,配置数据源、Grok解析和数据存储,使用Spark加载配置,支持读取任意路径、任意文件格式的数据源, 使用Grok进行解析, 写入任意的ES的索引。以上的思路不知道是否符合你的需求,有任何问题,欢迎跟我交流沟通或通过问答区提问。
07-27
面了几家,都问到了数仓相关的内容,想着系统学一学,目前感觉还行,讲的比较通俗易懂,以前比较模糊的概念,现在也清晰了不少,期待后面得内容有更多的干货
讲师回复
很高兴对你有帮助,在大数据时代, 数据仓库的重要性是不言而喻的。
不止数据仓库岗位, 数据开发工程师、架构师、分析师等跟数据相关的岗位,对数据仓库也都有相应的要求。
特别是在面对海量并且来源复杂的数据,更需要数据仓库工程师搭好底层框架、做好模型建设, 提升数据仓的性能和易用性。
我们这门课程将体系化的介绍数据仓库, 课程包含了丰富的数据仓库相关案例以及贴近生产实际的项目实践,不仅帮助快速掌握实用的数据仓库技术,
具备提升海量数据处理以及性能优化的能力,也能轻松应对相关面试,一看就是真家伙,有练过的,哈哈。
在学习中遇到什么问题,欢迎交流沟通。
01-16
老师很棒,希望老师再开其它大数据课程
08-23
很专业的大数据服务体系建设课程
玩转主流引擎,实战离线/实时全场景数据开发
Spark从入门到项目进阶实战
问答专区
讲师提供答疑服务,帮助大家扫除学习障碍,达成学习效果
源码开放
课程提供全部源码,你可以自行修改、优化
教辅材料
讲师提供各种原创学习资料,帮助消化课程知识,扩展技术视野
Git代码存储
所有项目源码都通过Git方式托管及下载
希望掌握实用的数据仓库建模、设计和调优能力
希望快速提升的ClickHouse技术能力
希望通过贴近生产实践的案例,提升大数据项目能力的同学
熟悉Java/Scala基础的语法
了解SQL的基本使用
了解Spark基础
12-15