数据中台的应用范围？

来源：3-6 统一的数据服务体系与数据运营管控

慕慕2853146

2024-05-15

如果历史数据量较大，表关联较多的性能不高的历史数据查询适合用您这套方式吗？如果不适合！请问用什么方式较适合？谢谢

写回答

1回答

Tim老师

2024-05-15

对的，之前我们也遇到过这个方式。第一个就是优化sql，这个是比较直接的，如果sql已经优化到极致还是不行，可以用中间表，聚合一次数据结果的基础上做查询。或者减少表关联数量，建议做大表冗余数据，提高查询效率。一般来说，我们优化的这些场景，指标并不需要实时的，一般是天、周、月、年这种频率，只要保障系统正常进行计算的情况下，第二天正常出数就没问题。但如果是考虑实时指标，那可能建议计算直接走实时计算，例如spark streaming，flink sql之类的计算引擎，这也是我们第二代研发之后加上的。其实思维逻辑差不多，基本上也是业务配置化

SpringBoot3.0 + RocketMq 构建企业级数据中台

203 学习 · 63 问题

查看课程

相似问题

数据中台使用的疑惑

回答 1

多数据源问题

回答 1

data-center项目中引用多数据源项目DynamicDataSourceContextHolder类添加数据源方法，如何生效的？

回答 1

数据中台VS报表微服务

回答 1

关于选择手写动态数据源框架

回答 1

打开慕课网App查看更多内容