Flink ON YARN 作业提交成功无报错,也未达到预期程序结果

来源:9-8 Flink on YARN第二种模式实操

慕仔7067995

2021-11-20

 一开始提交flink作业很快就报错akka AskTimeoutException,虽然报错但是作业在YARN上面并没有结束,需要我手动kill清理。我把akka.ask.timeout和web.timeout参数都调大之后,提交作业不报错了,拿applicationId去查日志,日志很正常无报错,但是作业未执行,或者说无任何响应。
 提交的flink作业很简单就是自己写的一个批处理作业往数据库里插三条记录,本地IDEA调试过,执行成功,速度也很快。提交到YARN上就没反应了,等一段时间也没结果,作业不报错也不结束,数据库里也没新增记录。主要是没有报错信息,简直无从下手了。想问下PK哥,这种情况可能是哪里出问题了呢?
写回答

1回答

Michael_PK

2021-11-21

1)你先检查你的yarn上,比如跑个hadoop自带的pi,先确保你的yarn是正常运行的

2)你的机器资源如何?是不是资源比较吃紧

0
0

新一代大数据计算引擎 Flink从入门到实战

入行或转型大数据新姿势,多语言系统化讲解,极速入门Flink

969 学习 · 296 问题

查看课程