Flink实时计算流处理任务中状态数据mapstate共享问题

来源：9-21 Savepoints

born198x

2021-11-02

大佬好，有个疑问困扰挺长时间，我们有个复杂的业务实时计算要写多个map算子，定义了多个class去承载不同算子，但都是在一个入口函数里执行的，为啥定义的mapstate值在不同map实现里不能共享呢？如果希望共享这个mapstate怎么办呢？只能都写一个算子里？

写回答

1回答

Michael_PK

2021-11-03

map算子并不会产生新的shuffle的，所以你的多个map如果是前后的，那写到一起是否就可以了

born198x

大佬说的多个写到一起我认为应对复杂计算的场景下也不是不可以，但我更多的理解在于，mapstate这个空间使用的是一个jvm内存，为啥在一个job里不能跨算子共享呢？

2021-11-04

共1条回复

Flink+ClickHouse 玩转企业级实时大数据开发

已经在做大数据，Flink助力轻松提薪；尚未入行，让你弯道超车

1000 学习 · 225 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1