关于hive

来源：8-4 日志清洗和格式化数据（中）

慕仔2266098

2020-04-15

请问此章节中的数据清洗中读取hdfs文件解析部分，是否可以直接使用hive外链表的方式读取进而操作转换base64。。。

写回答

1回答

小简同学

2020-04-15

同学你好，是可以的，hive是内置base64解密的函数，也内置json解析函数，也可以自定义UDF函数来进行处理。要看具体的场景，如果数据比较复杂以及数据量很大，可能用hive去处理会要写比较复杂的SQL，以及会产生较多的临时表，还有就是mr，可能会有性能的瓶颈。希望能回答到你的疑问，祝学习愉快

Spark2.x+协同过滤算法，开发企业级个性化推荐系统

一门既讲算法原理又有完整的推荐系统架构的全能课

330 学习 · 91 问题

相似问题

回答 1

回答 1

回答 2

回答 1