老师好,请教一个问题,请问有没有把spark 直接当做数据库来用,前端页面的请求都通过spark执行查询计算获取,这种方法算不算对spark的误用

来源:4-5 -Spark SQL愿景

小刚asdf

2018-06-21

如题,

我们现在的测试环境是这样用的,数据量并不大,但感觉查询返回和常用的mysql的查询速度相差甚远,想确认一下是不是不应该这样玩儿。。。

正确的做法是不是要讲查询结果存一份,前段的查询直接查存下来的计算结果,这种方案对于一些带变量的查询(比如当天到当前时间的相关记录)有没有好的解决方案

写回答

1回答

Michael_PK

2018-06-21

首先:spark是计算引擎,它不关注存储的事情。如果你想快速返回,必然是需要把结果提前算好存好,然后前端发起请求直接拿结果就行。

1
1
小刚asdf
非常感谢!
2018-06-22
共1条回复

以慕课网日志分析为例 进入大数据Spark SQL的世界

快速转型大数据:Hadoop,Hive,SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程