关于spark-yarn的cluster的集群模式的内存数和executors的数量的问题咨询,谢谢
来源:9-24 -Spark on YARN基础
![](http://img1.sycdn.imooc.com/user/54585050000156a302200220-100-100.jpg)
慕神816625
2018-06-08
关于spark-yarn的cluster的集群模式的内存数和executors的数量,一般在正式生产上会配置多少,主要是面试的时候问关于实战方面的时候,会问到具体线上生产的cpu、内存数、executors,集群规模是多少台机器,是物理机还是阿里云的机器,磁盘大概是多少的量,非常感谢老师
写回答
1回答
-
Michael_PK
2018-06-08
建议是物理机,那些参数没有标准的答案的,都是需要自己试很多次,然后看哪一组参数更合适,这和要处理的数据量以及是批计算还是多次迭代的计算有关系。
012018-06-08
相似问题