Hive To Mysql
来源：3-17 HDFS API编程之第一个应用程序的开发
DemonLS
2019-09-27
老师，您好，我在项目中遇到一个需求，是需要从 Hive 中做一些 sql 的统计，然后把数据导出到 mysql，除了统计之外，可能需要将最近几天的明细数据也导出到 mysql，统计数据量级还好，明细数据算下来100W左右。我们目前的做法是用的 hive jdbc 然后查询，再拼接 sql 语句做批量插入。我觉得这样有点麻烦，在网上查了些资料，sqoop可以做这个事，但是它好像对 mysql to hive 支持得更好，如果是从 hive 导出，就需要建统计数据的临时表。另外一种做法就是导出数据结果到文件里，再导入mysql。想请教下有没有什么更好的方式？
写回答
1回答
-
Michael_PK
2019-09-27
sqoop和jdbc都是可以的，但是有一点必须要做好，一次导出OK，相同操作导出多次，得保证MySQL数据库中数据不重复呢，这就是所谓的幂等性
012019-09-27
相似问题