flink读取socket问题

来源:16-11 StateBackend测试

Jackson_xky

2020-06-11

我在flink作业中读取socket数据,进行简单的统计,然后我开启了checkpoint,保存到hdfs里面,我发现当我运行着的时候,手动去关闭socket链接,flink作业就会退出,然后checkpoint中的ck-*目录会被删除,但是如果我没有关闭socket,仅仅是因为flink内部出错导致超过重启次数(设置为2)而挂掉了,这个目录却不会被删除,为什么关闭socket导致的作业挂掉会删除checkpoint的信息呢?

写回答

1回答

Michael_PK

2020-06-11

socket关闭会引起重跑策略,如果超了那肯定就失败,如果开启了retain,checkpoint应该是有的

0
2
Michael_PK
回复
Jackson_xky
分两步说:socket关闭我觉得你只要重启策略OK它会重试的,不然就没容错了。有一半我用1.10测试没发现这个问题
2020-06-11
共2条回复

新一代大数据计算引擎 Flink从入门到实战

入行或转型大数据新姿势,多语言系统化讲解,极速入门Flink

969 学习 · 296 问题

查看课程