一个很重要业务上的问题?

来源:13-1 课程总结及后续课程计划

慕仙4974986

2018-12-12

现在有一个业务需求,要使用storm的drpc,首先,有两张表,一张在mysql中,叫分类表,有商品分类id,和分类名称。还有一张表叫订单表(hbase中),上面有商品名称,和商品的分类id,现在需要对这个订单数据进行分类,需要输出分类名称,和商品名称,怎么用storm的drpc实现
另外一张在hbase中
订单表因为数量大,所以用hbase存储了
也就是说现在有两个流,一个是从hbase中读取的流数据,一个从mysql中读取的流数据,要怎么把数据关联起来,
相当于在mysql中的 inner Join操作,怎么实?可以详细回答吗?

写回答

1回答

Michael_PK

2018-12-12

数据在MySQL和HBase里面,那么需要storm的Spout接收的是什么样的新tuple?

0
4
Michael_PK
回复
慕仙4974986
数据在MySQL和HBase里面,首先storm实时处理一般是对接的消息队列,这两者如何将最新消息吐出来?他们两一般是作为存储用的!其次:要做这两个东西的join,你描述的定时执行的,那么最简单的方式直接通过离线处理就能join掉了。
2018-12-12
共4条回复

Java大数据实战,巧用Storm快速切入实时流处理领域

深入Storm内部机制,logstash+kafka,快速切入大数据实时流处理

518 学习 · 143 问题

查看课程