老师能帮忙看一个Sqoop的扩展问题吗?

来源:7-13 Hive DML之加载和导出数据

不见故里长安

2020-03-02

先谢过老师了

sqoop export \ --connect jdbc:mysql://eumen:3306/import_test \ --username root \ --password xxxxxx \ --table test_import \ --export-dir /user/hive/warehouse/test_db.db/test_import/* \ --input-fields-terminated-by '\001' \ --m 3
我以这样的导出方式,报错为找不到.metadata,sqoop的jira上说这个是无法解决的bug
sqoop export \ --connect jdbc:mysql://eumen:3306/import_test \ --username root \ --password xxxxxx \ --table test_import \ --hcatalog-database default \ --hcatalog-table test_import \ --num-mappers 1
我以这种方式导出,报错显示缺少一个org/apache/hadoop/hive/metastore/IMetaStoreClient

我导出百度各种解法无果,寻求老师帮助

写回答

1回答

Michael_PK

2020-03-02

hive和sqoop环境没整合好呢,sqoop里面找不到hive相关的类

0
2
Michael_PK
回复
不见故里长安
这个导入hdfs应该OK,但是hive可能还不够,这样的话很大可能还是找不到hive相关依赖的包。你还需要根据报错信息把相关的jar丢到lib下去
2020-03-02
共2条回复

Hadoop 系统入门+核心精讲

从Hadoop核心技术入手,掌握数据处理中ETL应用,轻松进军大数据

2411 学习 · 909 问题

查看课程