sparkstreaming读topic写入hdfs保存为parquet格式

来源：8-2 -实战之updateStateByKey算子的使用

慕容128306

2019-09-25

图片描述
老师我用sparkstreaming读topic数据保存到hdfs上的格式是parquet,我是这样去做的，但是我试了好多次是不对的

写回答

1回答

Michael_PK

2019-09-25

你直接spark.read.parquet(path) 然后有一个方法能直接获得到这个path下的文件对应的整个structtype信息

慕容128306

我现在是从topic再往hdfs上保存，要求有parquet文件的scheme定义

2019-09-25

共1条回复

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1