sparkstreaming 可以使用 parquet 存储吗

首页课程实战体系课手记专栏慕课教程

sparkstreaming 可以使用 parquet 存储吗

来源：6-3 -Spark Streaming应用场景

慕运维7479159

2018-02-09

sparkstreaming 可以使用 parquet 存储吗是可以存储的,但是产生大量的小文件怎么处理,目前有篇文章提到这个事情了,但是不能够120秒取一次

写回答

1回答

Michael_PK

Michael_PK

2018-02-09

小文件是必然的，合并就行

0

0

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

相似问题

sparkstreaming 可以使用 parquet 存储吗

回答 1

老师我用sparkstreaming读topic数据保存到hdfs上的格式是parquet,但我还要保存他的schema这个改怎样去做

回答 1

sparkstreaming读topic写入hdfs保存为parquet格式

回答 1

老师,在实际生产中,有将 spark streaming 所有数据储存为 parquet 吗,这个效率怎么样,会不会有瓶颈

回答 1

关于SparkStreaming

回答 2

打开慕课网App查看更多内容