老师您好,生产中对于 Spark SQL 的运行流程?

来源:5-2 -A SQLContext的使用

qq_LU飞_0

2019-06-21

1)在本地进行开发,采用少量数据进行测试
2)测试环境通过 spark-submit 测试(可以不进行)
3)生产环境通过定时任务或者定时框架进行执行

写回答

2回答

Michael_PK

2019-06-21

你说的也OK,生产上定时或者通过调度框架进行,测试环境手工执行submit。其实不管啥提交底层肯定都是spark submit

0
0

Michael_PK

2019-06-21

执行不管是测试还是生产都要用spark submit提交

0
0

以慕课网日志分析为例 进入大数据Spark SQL的世界

快速转型大数据:Hadoop,Hive,SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程