调研下各位同学，大家实际项目中的实时计算场景用spark还是flink？还是其他方案？

来源：1-5 什么是Flink

南帝

2022-02-26

目前toB领域的实时计算的需求还比较少, 实际的实时方案大都还是kafka+单机进程任务+缓存数据库进行解决
使用spark/flink多的场景还是将其作为离线批量计算的（ETL）脚本任务使用

我理解的对于Spark streaming 或者 Flink实时计算需求，是能分布式处理大批量数据，可靠性以及一致性都有保障，但实际场景中无论toC或者toB,都可以通过 “消息系统”+多进程任务+缓存中间件+数据库解决也能保障处理能力以及可靠性

当前我觉得大数据很多需求的瓶颈还是在于如何能实时高效将大批量的历史数据+实时数据进行实时计算得出结果，目前来看最终的技术方案其实还得看OLAP数据库或其计算引擎比如ClickHouse、Kylin、Druid 、impala、Phoenix 等

写回答

1回答

Michael_PK

2022-02-27

两者都是可以的，这个在工作中不是一个人说的算的，是要看公司部门的最终选型，同公司不同部门的选择都不一定一样。主要的点还是：本团队的技术储备如何，对哪个框架更吃的透

Flink+ClickHouse 玩转企业级实时大数据开发

已经在做大数据，Flink助力轻松提薪；尚未入行，让你弯道超车

1000 学习 · 225 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1