老师您好,我想请问一下如何根据数据量选择服务器数量以及服务器的配置

来源:1-4 -OOTB镜像文件使用介绍

侧耳倾听17

2020-02-17

写回答

2回答

Michael_PK

2020-02-17

思路:你的每个业务线的一条数据多大,几副本,每天数据量多少,需要存多久,这样就能评估出来你的存储空间要多少。对于CPU和core那就是越多越好,保证最基本的资源才能运行

0
1
侧耳倾听17
非常感谢!
2020-02-17
共1条回复

侧耳倾听17

提问者

2020-02-17

谢谢老师!我按照您的思路又学习了一下,视频里说namenode和datanode要在不同机器上,如果副本系数是3,是否至少需要4台服务器。datanode数量是否一定为奇数,如果是2个datanode是否存在因为leader机制导致zookeeper无法提供服务情况。

0
1
Michael_PK
三个机器也可以的,找一个dn和nn一起,当然资源够,分开是最好的
2020-02-17
共1条回复

以慕课网日志分析为例 进入大数据Spark SQL的世界

快速转型大数据:Hadoop,Hive,SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程