最后三个问题的理解答案

来源:9-5 -Spark与Hadoop深入对比

hwbaker

2018-11-30

spark能不能替换hadoop:不能。spark是数据处理的分析引擎,并不能像hadoop的HDFS提供数据存储功能,从这点来说不能替换hadoop。

spark能不能替换mapreduce:能。区别可以理解为 spark在内存中处理,mapreduce是I/O到磁盘处理。

spark能不能做非常大的数据的处理:不能。spark在内存中处理数据,因此对内存的需求量很大,如果数据块过大不能完全读入内存就不能处理;但是hadoop能将大数据分派到各个廉价的pc集群中处理。

写回答

1回答

Michael_PK

2018-11-30

前两点正解。第三点不对,spark照样能大数据量处理,spark是一个内存型的,但是基于磁盘的照样OK

1
1
hwbaker
非常感谢!
2018-11-30
共1条回复

10小时入门大数据

【毕设】大数据零基础入门必备,轻松掌握Hadoop开发核心技能

1456 学习 · 656 问题

查看课程