scala 编写 dataframe 与 shell 直接写 sql 的区别？

来源：9-7 -数据清洗之二次清洗概述

Fren

2018-07-24

在日志数据清洗中，使用了scala进行spark的开发（统计数据），打包成jar提交到集群上面来运行的。那么生产环境开发中，能不能使用shell脚本直接编写sql，使用spark-submit来提交执行呢？

写回答

1回答

Michael_PK

2018-07-24

已采纳

生产都是定时执行的，所以肯定是打包的，shell方式只是在学习和测试的使用方便

以慕课网日志分析为例进入大数据Spark SQL的世界

快速转型大数据：Hadoop，Hive，SparkSQL步步为赢

1644 学习 · 1129 问题

相似问题

回答 3

回答 4

回答 2

回答 3

回答 2