storm读取数据问题

来源：6-10 -Storm集群部署之Storm集群部署及启动

慕函数7570418

2019-11-06

storm中spout数据重复读取提交怎么处理，spout若读取hbase中的数据是按照行键顺序读取还是无规律的读取，如何才能保证storm读取数据的完整性

写回答

1回答

Michael_PK

2019-11-06

已采纳

这个是否重复是需要根据storm消费后的offset的管理的，如果失败还会从上次记录的offset重新读取。当然也要自己保证处理结果的幂等性

慕函数7570418

Michael_PK

前期暂时用sqoop将数据库中的数据放到hbase里面然后从hbase拿数据到storm处理再存到数据库中的这样一个简便的框架。现在在storm拿数据这里一直处理重复数据而且处理的数据完整性不能保证也找不到相关资料技术小白 storm都是自己看pdf的照猫画虎走投无路

2019-11-06

共3条回复

Java大数据实战，巧用Storm快速切入实时流处理领域

深入Storm内部机制，logstash+kafka，快速切入大数据实时流处理

518 学习 · 143 问题

相似问题

回答 1

回答 2

回答 3

回答 1

回答 1