idea 可以直接 连接到 hive吗

来源:6-6 hive数据源案例

啊大bug

2023-03-09

pk哥 我看你视频 下面的代码 也没有 连接 hive 的一些配置 它是怎样 连接到 hive的
而且还 在代码里 经过业务逻辑后 还能把数据 落地到 hive 里 ???

package com.imooc.bigdata.chapter06
import java.util.Properties
import org.apache.spark.sql.SparkSession
object HiveSourceApp {
def main(args: Array[String]): Unit = {
// 如果你想使用Spark来访问Hive的时候,一定需要开启Hive的支持
val spark: SparkSession = SparkSession.builder().master(“local”).appName(“HiveSourceApp”)
.enableHiveSupport() //切记:一定要开启
.getOrCreate()
// 走的就是连接 default数据库中的pk表,如果你是其他数据库的,那么也采用类似的写法即可
spark.table(“default.pk”).show()
spark.stop()
}
}

写回答

1回答

Michael_PK

2023-03-12

1)你可以把hive-site.xml放到你idea的resources下,注意,一定要开启hive的metastore服务,

hive-site.xml中要有

        <property>

                <name>hive.metastore.uris</name>

                <value>thrift://hadoop000:9083</value>

        </property>

这个配置。


2) 处理完的可以落入hive的,比如saveAsTable等



0
0

SparkSQL入门 整合Kudu实现广告业务数据分析

大数据工程师干货课程 带你从入门到实战掌握SparkSQL

535 学习 · 192 问题

查看课程