hdfs 作为spark streaming 的实时存储是否合适,会产生大量小文件是否不稳定

首页课程实战体系课手记专栏慕课教程

hdfs 作为spark streaming 的实时存储是否合适,会产生大量小文件是否不稳定

来源：13-8 -根据天来获取HBase表中的实战课程访问次数

慕运维7479159

2018-10-07

老师 hdfs 作为spark streaming 的实时存储是否合适,会产生大量小文件是否不稳定
请问目前生产的实时存储都是 hbase
那么请问 hbase 如何转换为 spark dataframe
网上的版本大部分都太老了, 请问应该使用哪个框架,hbase1.2 与 hadoop 都是使用课堂使用的

写回答

2回答

Michael_PK

Michael_PK

2018-10-07

HBase和spark SQL整合，你可以搜下对应的外部数据源，我记得是有的

0

7

慕运维7479159

回复

Michael_PK

好的,谢谢

2018-10-07

共7条回复

Michael_PK

Michael_PK

2018-10-07

streaming处理完在HDFS这种方案不建议，小文件太多

0

1

慕运维7479159

这些框架都太旧了,不能用

2018-10-07

共1条回复

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

相似问题

老师我用sparkstreaming读topic数据保存到hdfs上的格式是parquet,但我还要保存他的schema这个改怎样去做

回答 1

请教老师spark streaming能直接读取hbase或hive的数据，然后实时计算输出？

回答 1

spark streaming运行较长时间后报错kafka.common.OffsetOutOfRangeException

回答 3

Spark Streaming 的日志

回答 1

回答 1

打开慕课网App查看更多内容