批处理与流处理的结合

来源:14-12 Append only模式

球球雨

2020-12-19

请问一下如果想把一下历史数据与流数据结合起来做实时数据需要怎么处理呢?比如说在hdfs(或hbase,日志)中有大量访问日志,然后现在也在试试生成访问日志,需要怎么实时统计到历史日志加上当前日志的实时总访问量呢?

写回答

1回答

Michael_PK

2020-12-19

两种方案,一是用流处理读取历史数据进来一起和流处理一起。而是用批处理来处理历史数据,实时的接入实时处理,然后综合结果

0
0

新一代大数据计算引擎 Flink从入门到实战

入行或转型大数据新姿势,多语言系统化讲解,极速入门Flink

969 学习 · 296 问题

查看课程