spark查询hbase

来源：9-1 Zookeeper安装与HBase配置优化

慕先生4044781

2018-10-15

老师要想查询hbase表中所有数据，怎样查询速度快，比如说有上亿条数据

写回答

1回答

叁金

2018-10-16

已采纳

对于hbase的查询方式比较多，一般业务场景都是基于Java api 对指定rowkey或者指定rowkey间隔进行查询，速度快，上个问题的回答基本就是这种方式。其他的第三方开源工具也有很多，比如hive，Phoenix等等。他们大致上实现如下:
以MapReduce为核心，单个任务使用HBase client原始接口访问。比如Hive
以Google Dremel为核心，单个任务使用HBase client原始接口访问。比如Drill
以HBase Coprocessor为核心，结合Google Dremel思想，客户端合并多个节点的处理结果。比如Phoenix

通过spark操作hbase我并没这么用过，但是用spark操作过Phoenix，坑很多。最主要的就是guava和Scala的包冲突。烦得很。你可以看看Phoenix是否满足你的需求。再看spark

HBase+Spring Boot实战分布式文件存储（OpenTSDB实战升级）

深入浅出讲解HBase，让你轻松处理海量数据

493 学习 · 167 问题

查看课程

相似问题

请问老师 hbase能存多少数据，如果一张表上TB了，用phoenix做查询会不会很慢？

回答 1

老师我想请教一下，hbase有什么简单的办法可以分页查询？

回答 1

hbase+redis

回答 1

java api连不上hbase

回答 1

sqoop从mysql倒数据到hbase

回答 1

打开慕课网App查看更多内容