再问一个终极问题

来源：1-2 -如何学好大数据

qq_Mel_0

2018-01-03

我的需求是对无数的设备采集到的数据进行统计展示基本上是求和。

数据类型基本上都是数字，

目前的数据量 10T/年

老师有什么建议吗

写回答

2回答

qq_Mel_0

提问者

2018-01-03

我的需求是：

1、数据存储（每年10T左右，至少要保存10年）

2、简单的聚合查询（a.按时间查询；b.求和等）

3、数据检索要实时的

采集到的数据基本上就是数字类型的

Michael_PK

qq_Mel_0

我只能说你这架构方案就是错了，谁定方案的先调整方案吧。当前能用的NoSQL框架就那几个，先测试拿出测试结果才有说服力

2018-01-03

共4条回复

Michael_PK

2018-01-03

采集到HDFS，使用分布式框架计算就行，10t算小的，只要HDFS存下就行

以慕课网日志分析为例进入大数据Spark SQL的世界

快速转型大数据：Hadoop，Hive，SparkSQL步步为赢

1644 学习 · 1129 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 3