《8-4 项目架构及数据处理流程》中的数仓分层

来源:8-4 项目架构及数据处理流程

小福蛋爱学习

2020-11-25

老师,您好。

8-4 项目架构及数据处理流程,课程中,您介绍了数据采集后进入数仓后的架构,请问您所在的公司的数仓仅有一层ODS层吗?在ODS层就做了数据清洗和构建宽表吗?
因近期我所在公司要搭建数仓,想了解一下其他公司的数仓的分层、各层的建模方式及职责,您看方便分享下吗?要是有对应的etl描述更好了。非常感谢。

写回答

1回答

Michael_PK

2020-11-25

不同公司数据仓库层数是不一定的,而且每层的叫法也都不一定,一般都是3层要的。

有的公司数据接入就算ODS层,我们公司是接入的HDFS的不算,清洗后到ODS才算一层,这一层就是大宽表。

后面的还有比如DWD(数据明细层)、DWM(数据中间层)、DWS(数据服务层)等。

这些个人觉得应该是根据公司的具体划分来才是最合适的。没有对错之说,只有合适与否之说。

1
1
小福蛋爱学习
非常感谢!老师,请问贵公司在DWD层的建模方式是参考Kimball的理论吗?
2020-12-16
共1条回复

SparkSQL入门 整合Kudu实现广告业务数据分析

大数据工程师干货课程 带你从入门到实战掌握SparkSQL

535 学习 · 192 问题

查看课程