jdbc批量插入到问题

来源:9-13 -需求一统计结果写入到MySQL

慕仙4974986

2018-11-05

jdbc批量插入,如果是是过百万条的数据,或者过亿条的数据,
用insert into day_video_access_topn_stat(day,cms_id,times) values (?,?,?)
插入也没有问题吗?
首先ListBuffer中的对象,如果存储过亿个对象,内存不够怎么办?
每次插入一条数据是不是效率太低了?改怎么办?

写回答

1回答

Michael_PK

2018-11-05

首先你说得很对,数量大是可能会oom;其次我来否定你的提问,这是统计完的结果入库的,注意是统计完结果,数据量不会很大的,因为聚合过的

2
1
慕仙4974986
非常感谢!
2018-11-05
共1条回复

以慕课网日志分析为例 进入大数据Spark SQL的世界

快速转型大数据:Hadoop,Hive,SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程