老师好,请教一个问题,请问有没有把spark 直接当做数据库来用,前端页面的请求都通过spark执行查询计算获取,这种方法算不算对spark的误用
来源:4-5 -Spark SQL愿景
小刚asdf
2018-06-21
如题,
我们现在的测试环境是这样用的,数据量并不大,但感觉查询返回和常用的mysql的查询速度相差甚远,想确认一下是不是不应该这样玩儿。。。
正确的做法是不是要讲查询结果存一份,前段的查询直接查存下来的计算结果,这种方案对于一些带变量的查询(比如当天到当前时间的相关记录)有没有好的解决方案
写回答
1回答
-
首先:spark是计算引擎,它不关注存储的事情。如果你想快速返回,必然是需要把结果提前算好存好,然后前端发起请求直接拿结果就行。
112018-06-22
相似问题