用JDBCInputFormat连接mysql获取数据进行批处理，但如果获取的数据量比较大，性能方面有问题，这种需要怎么处理？

首页课程实战体系课手记专栏慕课教程

用JDBCInputFormat连接mysql获取数据进行批处理，但如果获取的数据量比较大，性能方面有问题，这种需要怎么处理？

来源：1-1 课程导学

ccw924263

2019-05-13

写回答

1回答

Michael_PK

Michael_PK

2019-05-14

这个input format都是分布式的，都是从从库去读取的，如果你认为性能跟不上，压测一把就可以了

0

4

Michael_PK

回复

ccw924263

批处理绝大部分都是文件的，少部分走的是数据库里面的数据

2019-05-18

共4条回复

新一代大数据计算引擎 Flink从入门到实战

入行或转型大数据新姿势，多语言系统化讲解，极速入门Flink

969 学习 · 296 问题

相似问题

能否使用Flink构建爬虫平台

回答 1

关于一份数据多个统计指标的是如何实际来开发的？

回答 1

批处理与流处理的结合

回答 1

时间窗内内，如果数据量太大怎么办？

回答 1

flink广播变量不能复用吗?

回答 2

打开慕课网App查看更多内容