如果一个job是一直在运行的,但是数据是一小时更新一次(时间点不确定),这个job是不是适合采用动态资源来配置比较好?

来源:8-2 调优之资源设置

努力做一个正能量的五迷

2020-08-13

输入正文

写回答

2回答

Michael_PK

2020-08-13

这种情况可以采用动态资源调度,只要设置最大和最小的executor个数就行,让框架自己动态调整。

0
0

Michael_PK

2020-08-13

你这种可以才用动态资源配置,相当于让他自己根据当前的信息进行评估,只要设置一个最小和最大的executor就可以了

0
0

Spark进阶 大数据离线与实时项目实战

大数据生态圈实用框架(Spark/Hbase/Redis/Hadoop)整合应用及调优

700 学习 · 190 问题

查看课程