spark-shell中执行sparkSQL报错:需要Hive支持

来源:3-8 spark-shell使用详解

璀璨年华_

2020-10-09

spark-shell启动正常图片描述
spark-shell执行spark.sql(“show tables”).show正常
图片描述
执行spark.sql(“create table t(key string, value string)”)报错
图片描述
说是需要hive支持,我将hive-site.xml放入$SPARK_HOME/conf下依然不管用,我也启动了元数据共享nohup hive --service metastore &依然不行

写回答

1回答

Michael_PK

2020-10-09

你是在服务器执行的是吧。两个事情,一是hivesite要在conf目录下,而是你如果使用了metastore服务,这个服务要正常启动起来,jps可以确认下是否启动成功。这两个的前提都是hivesite要在sparkconf下

0
2
Michael_PK
回复
璀璨年华_
对的,是需要编译加入yarn的支持才可以
2020-10-09
共2条回复

SparkSQL入门 整合Kudu实现广告业务数据分析

大数据工程师干货课程 带你从入门到实战掌握SparkSQL

526 学习 · 191 问题

查看课程