分布式配置测试

来源：7-1 -课程目录

慕运维7479159

2017-12-29

你好，老师，在自学过程中，是不可能有那么昂贵的集群测试，可以有些内存2G-4G的机器做测试，大约十几台，请问这样的集群，能够发挥 10 * 2 =20G 的运算效果吗，前期测试分布式配置应该多讲一些，当前讲的都是在单机上操作，分布式的一些注意事项没有讲到，希望详细回答这个问题

写回答

6回答

慕运维7479159

提问者

2017-12-29

老师我说的应该是Spark 的分布式运算，就是添加机器，添加运算力，不知道理解的对不对

Michael_PK

理解的没毛病

2017-12-29

共2条回复

慕运维7479159

提问者

2017-12-29

老师，我是由C#转的，所以对于大数据都是JAVA平台，所以我说的是分布式运算，分布式运算，比如用一台机器一个小时运算，用两台机器就是半个小时，这个效果应该能够达到吧，听了这么长时间的课，我觉得受益颇丰，但是对于分布式的配置有可能还是需要上手测试一下的，老师讲的还是需要消化一下的

Michael_PK

2017-12-29

分布式仅仅就是多些机器，使用和单机一样一样的

Michael_PK

2017-12-29

hadoop分布式我是详细讲了的，spark作为客户端仅仅是客户端就不需要分布式，我不清楚你说的分布式没讲是什么意思

Michael_PK

2017-12-29

其实2-4g的也起不了大作用，凑合用

Michael_PK

2017-12-29

学习的时候单机就行了，有条件就多点，越多越好

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

相似问题

回答 1

回答 1

回答 2

回答 1

回答 1