最后三个问题的理解答案
来源:9-5 -Spark与Hadoop深入对比
hwbaker
2018-11-30
spark能不能替换hadoop:不能。spark是数据处理的分析引擎,并不能像hadoop的HDFS提供数据存储功能,从这点来说不能替换hadoop。
spark能不能替换mapreduce:能。区别可以理解为 spark在内存中处理,mapreduce是I/O到磁盘处理。
spark能不能做非常大的数据的处理:不能。spark在内存中处理数据,因此对内存的需求量很大,如果数据块过大不能完全读入内存就不能处理;但是hadoop能将大数据分派到各个廉价的pc集群中处理。
写回答
1回答
-
前两点正解。第三点不对,spark照样能大数据量处理,spark是一个内存型的,但是基于磁盘的照样OK
112018-11-30
相似问题