Spark On Yarn，如果Driver挂掉，它是否支持自动容错，而不是全部重启呢？

首页课程实战体系课手记专栏慕课教程

Spark On Yarn，如果Driver挂掉，它是否支持自动容错，而不是全部重启呢？

来源：9-24 -Spark on YARN基础

由果子

2019-10-11

PK老师，你好：
Spark On Yarn Cluster模式时，Driver是运行在ApplicationMaster中，如果Driver挂后
它是否支持自动容错，能够重试启动并继续运行任务，而不用全部重启呢？或者自动新启动一个Driver接管而非重启前一次的JOB？因为我看到Flink的JobMaster有类似的容错机制，所以想知道Spark的Driver是否也有同样的机制。谢谢！

写回答

1回答

Michael_PK

Michael_PK

2019-10-11

spark的job也有类似的driver也有类似的重启机制。你到官网的：job schedule章节看下

0

0

以慕课网日志分析为例进入大数据Spark SQL的世界

快速转型大数据：Hadoop，Hive，SparkSQL步步为赢

1644 学习 · 1129 问题

相似问题

spark on yarn 报错了

回答 1

spark-sql无法启动，但是spark-shell没问题

回答 1

对于YARN而言

回答 1

关于提交作业到Spark on yarn cluster时，出现如下问题？？？

回答 1

回答 4

打开慕课网App查看更多内容