Clickhouse ods层数据如何实时处理并存到DWD层呢？

来源：17-1 课程目录

qq_慕UI7433083

2024-07-04

业务里如果有需要，需要实时的（延时不小于1分钟）把ods的实时数据经过flink处理后存入dwd层，这种该怎么做呢？

比如我如何提取数据到flink才能确保ods层的每条数据都被处理了，且不被重复处理呢？

写回答

1回答

Michael_PK

2024-09-24

第一个问题：你说的ods到dwd的处理，其实并没有一个明确的规范，每家公司可能使用的都不太一样。我这里大概给你罗列下常见的处理方案：

1） kafka ==> flink ==> ods ==> flink ==> dwd 这里的flink可以是使用代码完成，也可以使用flink sql去完成，都可以。 ods和dwd可以是flink的表

2）现在业界doris系列的也用的很多，所以这里的话ods和dwd的表也可以直接使用doris来存储

第二个问题：精准一次消费

如何做到不丢不重，这个就要依赖于source是否具备replay的机制，sink是否具备精准一次的能力。这几个条件都具备了，还可能完成不丢不重

Flink+ClickHouse 玩转企业级实时大数据开发

已经在做大数据，Flink助力轻松提薪；尚未入行，让你弯道超车

1000 学习 · 225 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1