spark sql无法读取hbase数据

来源:1-1 课程介绍

侧耳倾听17

2021-04-21

老师您好,我创建了一张hive到hbase映射表
CREATE TABLE xsyq_accuracy_hbase(
key string,
pday int,
enterprisename string,
parameter string,
parametertype string,
processname string,
accuracy double
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler’
WITH SERDEPROPERTIES (“hbase.columns.mapping” = “:key,cf1:pday,cf1:enterprisename,cf1:parameter,cf1:parametertype,cf1:processname,cf1:accuracy”)
TBLPROPERTIES (“hbase.table.name” = “xsyq_accuracy_hbase”, “hbase.mapred.output.outputtable” = “xsyq_accuracy_hbase”);

在hive里通过sql语句可以通过insert into插入数据到hbase,但是用spark sql插入时报错:图片描述
hbase-protocol-2.1.1.jar
hbase-client-2.1.1.jar
hbase-common-2.1.1.jar
hbase-server-2.1.1.jar
metrics-core-3.2.1.jar
hive-hbase-handler-2.3.4.jar
htrace-core-3.1.0-incubating.jar
hbase-annotations-2.1.1.jar
hbase-hadoop2-compat-2.1.1.jar
hbase-hadoop-compat-2.1.1.jar
以上jar包已经导入了spark的jars文件夹内

写回答

1回答

Michael_PK

2021-04-22

你这个是hiveHBASEhandle的是吧,这个错是找不到对应的类,应该是环境变量不够或者是hiveHBASE版本不兼容的问题。这种使用方式性能非常差,不建议使用

0
3
侧耳倾听17
回复
Michael_PK
谢谢老师,spark对应的HBASE的外部数据源对接这部分认真弄懂本门课程就可以掌握嘛,我看到hbase入门api那部分了,刚开始学感觉还是有些难度。
2021-04-22
共3条回复

Spark进阶 大数据离线与实时项目实战

大数据生态圈实用框架(Spark/Hbase/Redis/Hadoop)整合应用及调优

700 学习 · 190 问题

查看课程