老师，sparkstreaming可以设置批次开始接收时间吗？

来源：6-14 SparkStreaming对接Kafka offset管理

iceiceice_

2020-02-25

我看UI里都是每分钟0秒开始接收并处理
能不能设置每分钟的第20秒开始计算前一分钟的数据？

例如现在有个kafka topic实时推数据过来
我想在6:01:20，开始接收并计算6:00:00到6:01:00的推送过来的数据
我设置window为20s不符合需求

写回答

2回答

Michael_PK

2020-02-25

流处理这时间值得就是真正开始执行的时间，时间到了就执行，做不到你说的那样

Michael_PK

2020-02-25

你说的是处理时间，和数据的解说时间不是一个概念。

Spark进阶大数据离线与实时项目实战

大数据生态圈实用框架(Spark/Hbase/Redis/Hadoop)整合应用及调优

700 学习 · 190 问题

相似问题

回答 2

回答 1

回答 1

回答 1

回答 3