spark整合hive，通过代码显示只有default表，但是用spark-shell却可以全部显示？

来源：1-24 -Hive环境搭建

longchenglll

2019-04-24

spark-shell与spark-sql都能够正常显示表数据，但是代码里面只能显示default

写回答

1回答

Michael_PK

2019-04-24

1）spark-shell与spark-sql都是spark的bin下的脚本，它默认会加载到conf下的hive-site.xml，所以能加载到所有metastore里面的库

2）代码就是普通的，你并没有hivesite让他加载，所以显示的只有默认的default库

Michael_PK

longchenglll

需要将hivesite设置到你的py能加载的到的环境变量中，然后你的机器要连的上metastore。如果是win建议放弃，里面需要调整的地方有很多，如果是linux，你自己可以尝试下

2019-04-24

共2条回复

以慕课网日志分析为例进入大数据Spark SQL的世界

快速转型大数据：Hadoop，Hive，SparkSQL步步为赢

1644 学习 · 1129 问题

相似问题

回答 3

回答 1

回答 2

回答 1

回答 2