关于spark-yarn的cluster的集群模式的内存数和executors的数量的问题咨询,谢谢

来源:9-24 -Spark on YARN基础

慕神816625

2018-06-08

关于spark-yarn的cluster的集群模式的内存数和executors的数量,一般在正式生产上会配置多少,主要是面试的时候问关于实战方面的时候,会问到具体线上生产的cpu、内存数、executors,集群规模是多少台机器,是物理机还是阿里云的机器,磁盘大概是多少的量,非常感谢老师

写回答

1回答

Michael_PK

2018-06-08

建议是物理机,那些参数没有标准的答案的,都是需要自己试很多次,然后看哪一组参数更合适,这和要处理的数据量以及是批计算还是多次迭代的计算有关系。

0
1
慕神816625
好的,多谢了
2018-06-08
共1条回复

以慕课网日志分析为例 进入大数据Spark SQL的世界

快速转型大数据:Hadoop,Hive,SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程