Spark高可用
来源：7-9 Hive部署
王虎i
2022-01-07
- spark on yarn 的时候需不需要搭建spark HA 因为我即使不搭建也不启动spark, 也可以使用./spark-submit命令提交到yarn上 所以这个spark HA搭建的用途在哪里Standalone 模式和 Yarn模式一起使用吗
- 线上架构一般是 Hadoop HA 然后在azkaban执行批处理 spark on yarn这样吗
写回答
1回答
-
Michael_PK
2022-01-09
1： spark作业一个客户端，提交作业到yarn上运行，只要保证yarn的ha就可以了。 这个不是spark的ha，spark ha是针对spark standalone模式来说的。 不会一起使用
2： 对的，就是hadoop ha，然后调度到yarn上运行就可以了
022022-01-12
相似问题