flume kafka spark streaming

来源：4-7 -Kafka容错性测试

慕运维7479159

2018-02-07

这个框架的设计延时过于严重,数据处理过慢是哪里的问题,spark streaming 很长时间都在缓慢处理几分钟之前的数据

写回答

1回答

Michael_PK

2018-02-07

已采纳

我们线上就是这套架构，完全没毛病，一个分钟进来的数据在两亿条左右。你这个说慢，你看看你的flume是否慢，然后streaming消费kafka是否慢，检查streaming资源是否合理，一般不能有数据的堆积才行

慕运维7479159

非常感谢！

2018-02-10

共1条回复

Spark Streaming实时流处理项目实战

Flume+Kafka+Spark Streaming 构建通用实时流处理平台

1404 学习 · 571 问题

相似问题

回答 1

回答 1

回答 4

回答 2

回答 2