hive data export

来源:3-37 HDFS项目实战之可插拔的业务逻辑处理

DemonLS

2019-10-30

老师,您好,我最近项目上遇到一个需求,场景是这样的,我们公司原来有一个 hadoop 集群,然后数据仓库用的是 hive。我们部门想自己搭一个小的 hadoop 集群,然后把原来 hive 里的数据复制过来。

我在网上找了一些方法,目前实验成功的是通过 hive export 和 import ,这种方式的步骤是:
1、原hive 上做 export 直接到 目标的 hdfs
2、在目标 hive 上做 import

或者想了下能不能直接 dump 元数据的 mysql,但权限问题,目前没办法做到。

想问下老师,这种场景有什么更好的办法吗?

写回答

1回答

Michael_PK

2019-10-30

最简单办法,HDFS数据distcp过去,hive元数据信息复制到新集群MySQL就行了

0
10
DemonLS
回复
Michael_PK
好的,谢谢老师
2019-10-31
共10条回复

Hadoop 系统入门+核心精讲

从Hadoop核心技术入手,掌握数据处理中ETL应用,轻松进军大数据

2373 学习 · 898 问题

查看课程