关于时间窗口上的时间点的锁定问题

来源:8-2 -实战之updateStateByKey算子的使用

邱晨100

2019-04-15

老师好,我还想请教一个问题哈:
我们通过设置流计算的每次时间间隔,如果设置时间间隔太小可以做到数据很精确,可是又无法支撑这么大的数据量。设置的太大了,又不太精确。请问关于每次时间粒度的微批数据,是否可以设置它的跑数时间点呢??
比如时间间隔是1分钟的,固定好它按1分0秒至下个1分0秒这样的窗口。请问可以做到嘛??

写回答

1回答

Michael_PK

2019-04-15

现在能支持到秒级别的批次的,这就看你们业务能接受延迟多少,我个人觉得只要不是非常高的要求,spark streaming是足够扛得住的

1
5
Michael_PK
回复
邱晨100
这个和我们现在的做法是一样的,五分钟粒度的算,我们一分钟几百G的数据, 当然机器资源要够啊,不然spark也做不了什么事情呢
2019-04-15
共5条回复

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

查看课程