sparksql或者DataFrame大批量修改数据？

来源：9-16 -需求三统计功能实现

asdhjhg

2017-10-13

scala操作dataframe可以批量修改字段数据吗？比如把DF_1的字段数据替换成DF_2种某个字段的数据。

sparkSQL可以完成这样的操作吗？可是尝试SQL的update根本不行啊。难道sparkSQL不支持update？那岂不是很尴尬。。。。。。

写回答

2回答

Michael_PK

2017-10-13

用个udf函数，也是可以搞定的，但是只是计算的时候操作，并不会把纸写回去

asdhjhg

老师如果数据出现高度的正偏态分布，那么这个数据需要做什么处理吗？

2017-10-14

共2条回复

Michael_PK

2017-10-13

spark分布式计算框架，计算，不适合那种修改的

Michael_PK

asdhjhg

你可以用spark完成，相当于a数据经过df操作变成b，b就是你要的结果

2017-10-13

共2条回复

以慕课网日志分析为例进入大数据Spark SQL的世界

快速转型大数据：Hadoop，Hive，SparkSQL步步为赢

1644 学习 · 1129 问题

相似问题

回答 3

回答 3

回答 1

回答 1

回答 4