pyspark可以访问hive但spark-submit访问不了hive

来源：7-8 -Hive和MySQL综合使用

慕瓜155437

2017-08-29

在pyspark中，可以正常连接并访问hive的数据

但是使用spark-submit时，代码如下：

会报错：Table or view 'emp' not found in database 'default

按照网上搜索到的，使用了spark = SparkSession.builder.master("local[2]").appName("my app").enableHiveSupport().getOrCreate()之后，依然有如上报错。请问该如何解决？

（网上也有使用HiveContext的方法，但是HiveContext已经不被提倡了，并且我也使用这种方法尝试，还是不能正常连接。）

写回答

3回答

skyblueice3676069

2017-09-02

遇到同样情况，spark shell里面可以访问到hive table，但是在idea里面使用spark.sql等命令却总是显示default这个db中一个表没有。不少人也有相同的问题：http://coding.imooc.com/learn/questiondetail/17480.html

同样的代码。shell上有hive表，idea上则没有。conf/里面有hive-site.xml

//szimg.mukewang.com/59aadd860001d82c09430392.jpg

//szimg.mukewang.com/59aadd860001a11809310454.jpg

慕瓜155437

skyblueice3676069

我的metastore一直启动不了，总是卡住。不知道是不是因为这个原因

2017-09-03

共3条回复

慕瓜155437

提问者

2017-08-30

最新情况，发现不只是pyspark和spark-submit访问hive存在问题，从hive的shell里访问到的default库的tables和从spark-shell里访问的不一样，会是什么造成的呢？

//szimg.mukewang.com/59a6664d0001226a08880358.jpg

//szimg.mukewang.com/59a6664d00011f3007220751.jpg

Michael_PK

2017-08-29

py我不熟，在群里问问其他小伙伴吧，我们所有开发spark的都是Scala语言

Michael_PK

慕瓜155437

很简单，你把hivesitexml中换个库测试下就行了，有可能是什么操作不当导致的

2017-08-30

共5条回复

以慕课网日志分析为例进入大数据Spark SQL的世界

快速转型大数据：Hadoop，Hive，SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程

相似问题

SparkSQL和Hive on Spark的区别

回答 2

请问，为什么spark-sql里show tables有表，spark-submit提交job里没有表？

回答 1

请问在实战项目中，我们在哪里使用了hive的相关操作？

回答 1

老师，Spark可以直接读取HDFS文件，那么还需要Hive吗？

回答 1

hive的问题

回答 1

打开慕课网App查看更多内容