关于JPA saveAll()的一个小坑

来源:4-10 你的序列化实现的是深拷贝还是浅拷贝?

LBruce

2020-09-14

在学习中发现了JPA的一个小坑,想向老师请教一下,刚好也可以把问题和解决方法分享给大家。
**问题及场景:**保存约10万条数据,直接调用JpaRepository接口的saveAll方法,结果发现整个执行过程非常慢。
**问题分析:**看源码发现,saveAll()方法具体是交给SimpleJpaRepository这个类来实现的,而通过看SimpleJpaRepository源码则可以发现,其本质上就是把要保存的数据进行遍历,且每次遍历的时候,调用一下save()方法对单条数据进行保存。
图片描述
然后save()方法里面大概流程就是判断一下要保存的数据是否新增数据,从而执行不同的操作
图片描述
通过以上源码分析可以知道,saveAll()方法之所以保存大量数据的时候会很慢,是因为要保存的数据有多少,它就会向数据库提交多少次insert语句,而不是一次性提交多条insert(批量插入)。

想请教一下老师,遇到这种情况的时候,怎么做会比较合适?谢谢老师

写回答

1回答

张勤一

2020-09-16

LBruce 你好:

    其实想要解决 saveAll 批量插入慢的问题,我们需要两个步骤的操作。第一个步骤是非常简单的,因为 JPA 支持批量插入,所以,你可以设置一个批次执行多少条数据写入。例如,我们可以这样配置 JPA:

spring:
  jpa:
    properties:
        hibernate:
            jdbc:
              batch_size: 500
              batch_versioned_data: true
            order_inserts: true
            order_updates: true

    batch_size 就是批量插入的个数,我这里建议设置为 500,这样的话,如果你要插入1000条数据,其实,两个批量在毫秒级别就完成了。

    但是,仅仅这样设置是不够的,我们来看一看 saveAll 的源码(位于 org.springframework.data.jpa.repository.support.SimpleJpaRepository 文件中):

/*
 * (non-Javadoc)
 * @see org.springframework.data.jpa.repository.JpaRepository#save(java.lang.Iterable)
 */
@Transactional
public <S extends T> List<S> saveAll(Iterable<S> entities) {

   Assert.notNull(entities, "The given Iterable of entities not be null!");

   List<S> result = new ArrayList<S>();

   for (S entity : entities) {
      result.add(save(entity));
   }

   return result;
}

    可以清晰的看到,JPA 的实现只是调用 for 循环实现插入,那么,我们再去看看 save 方法是怎么实现的:

@Transactional
public <S extends T> S save(S entity) {

   if (entityInformation.isNew(entity)) {
      em.persist(entity);
      return entity;
   } else {
      return em.merge(entity);
   }
}

    其实问题就出在这里了,entityInformation.isNew 这句代码的含义是:去数据库查询这条数据是否存在,如果存在,则是修改动作;否则,就是插入新的数据。那么,对于我们的批量插入来说,你需要修改(重写)saveAll 方法,非常简单,一样是调用 for 循环不断的 persist 就可以了,避免了每次的查询操作。


    我是勤一,致力于将这门课程的问答区打造为 Java 知识体系知识库,Java 知识体系 BBS!共同建造、维护这门课程,我需要每一个你!

2
1
LBruce
谢谢老师
2020-09-16
共1条回复

Java实操避坑指南 SpringBoot/MySQL/Redis错误详解

掌握业务开发中各种类型的坑,,Java web开发领域通用

466 学习 · 204 问题

查看课程