请问老师关于提交到K8s

来源：5-2 -local模式运行

Panda_io

2021-11-12

问题（1）
如果提交到k8s上面，是不是就失去了移动计算的特性了呢，我的理解是提交到k8s处理的数据就要通过网络传输下载到Pod面（比如从HDFS上面下载数据）

问题（2）
既然是多个Pod同时并行计算，那么数据该如何进行分区呢，假设有三个Executor节点，HDFS上的文件有三个block是每个Executor只下载一个block吗？

问题（3）
假设问题（2）成立，那么每个pod具体下载哪一个block，是由哪个组件来进行分配调度的呢？

写回答

1回答

Michael_PK

2021-11-13

spark提交到k8s，只要运维的k8s部署好了之后，提交spark-submit时的master指定k8s就行了

--master MASTER_URL spark://host:port, mesos://host:port, yarn,

k8s://https://host:port, or local (Default: local[*]).

就是使用k8s开头的那个地址的写法就可以了

Python3实战Spark大数据分析及调度

使用Python3对Spark应用程序进行开发调优，掌握Azkaban任务调度

1046 学习 · 434 问题

相似问题

回答 2

回答 1

回答 1

回答 1

回答 1