老师，服务器数量问题

来源：9-3 -离线数据处理架构

starkpan

2019-01-29

老师，能不能问一下，您公司这么大的数据量的处理，机器配比是如何弄得？
比方说有多少台机器跑hadoop，多少台跑spark，一台机器一般多少G内存，几个内核。
这些机器，平均3分钟处理500G，log日志文件，还是峰值这么大。

写回答

2回答

Michael_PK

2019-01-29

已采纳

我们hadoop集群15000多台，数据量一分钟200G这样的业务线有上百条，内存啥的由于放假了，暂时我也记不太清了

starkpan

太多了，吓死了~

2019-01-29

共1条回复

Michael_PK

2019-01-29

不是峰值，平时就那么大，峰值更高

以慕课网日志分析为例进入大数据Spark SQL的世界

快速转型大数据：Hadoop，Hive，SparkSQL步步为赢

1644 学习 · 1129 问题

相似问题

回答 2

回答 1

回答 1

回答 2

回答 1