1 前言

在當(dāng)今互聯(lián)網(wǎng)高速發(fā)展的時(shí)代，高并發(fā)、大數(shù)據(jù)量的處理已成為各大企業(yè)應(yīng)用的常態(tài)。作為 Java 開發(fā)者，我們常常面臨著如何提高數(shù)據(jù)庫操作效率的挑戰(zhàn)。MyBatis-Plus 作為一款優(yōu)秀的 ORM 框架，為我們提供了簡(jiǎn)潔高效的數(shù)據(jù)庫操作方式。然而，當(dāng)涉及到大規(guī)模數(shù)據(jù)的批量插入時(shí)，即使使用了 saveBatch 方法，性能提升仍然有限。

本文將揭秘如何通過配置 rewriteBatchedStatements=true 和預(yù)先生成 ID 等優(yōu)化策略，將 MyBatis-Plus 批量插入的性能提升 2000%，助力您的應(yīng)用突破性能瓶頸！

2 背景：批量插入的性能挑戰(zhàn)

2.1 場(chǎng)景描述

在實(shí)際開發(fā)中，如考試系統(tǒng)、訂單處理、日志存儲(chǔ)等場(chǎng)景，經(jīng)常需要批量插入大量數(shù)據(jù)。例如，在一個(gè)在線考試系統(tǒng)中，創(chuàng)建一份試卷需要插入多張表的數(shù)據(jù)：

• 試卷表（exam）：存儲(chǔ)試卷的基本信息。
• 題目表（question）：存儲(chǔ)題目信息。
• 選項(xiàng)表（option）：存儲(chǔ)題目下所有選項(xiàng)信息。

在保存試卷時(shí)，需要關(guān)聯(lián)保存試卷、題目以及題目選項(xiàng)，此時(shí)對(duì)于保存的性能就有較高的要求了。

2.2 性能瓶頸

• 逐條插入效率低：傳統(tǒng)的逐條插入模式效率欠佳，每次插入數(shù)據(jù)時(shí)都要與數(shù)據(jù)庫進(jìn)行交互，從而產(chǎn)生較高的網(wǎng)絡(luò)開銷以及數(shù)據(jù)庫解析成本。
• 外鍵關(guān)系處理復(fù)雜：題目與選項(xiàng)之間存在外鍵關(guān)聯(lián)，這就需要在插入數(shù)據(jù)后獲取主鍵 ID，無疑增加了操作的復(fù)雜程度。
• 批量操作性能有限：使用默認(rèn)的 saveBatch 方法，其性能提升并不顯著，難以滿足高并發(fā)、大數(shù)據(jù)量的實(shí)際需求。

3 初探 MyBatis-Plus 的 saveBatch 方法

3.1 saveBatch 方法簡(jiǎn)介

在 MyBatis-Plus 中，saveBatch 方法是用于批量保存數(shù)據(jù)的方法。它能夠在單次操作中將多條數(shù)據(jù)同時(shí)插入數(shù)據(jù)庫，從而提高插入效率，減少數(shù)據(jù)庫連接次數(shù)，提升性能。

boolean saveBatch(Collection<T> entityList);
    boolean saveBatch(Collection<T> entityList, int batchSize);

• entityList：要插入的實(shí)體類集合?？梢允侨魏螌?shí)現(xiàn)了 Collection 接口的集合類型，如 List、Set 等。
• batchSize（可選）：指定每次批量插入的大小。默認(rèn)情況下，MyBatis-Plus 會(huì)一次性插入所有數(shù)據(jù)。如果設(shè)置了 batchSize，則會(huì)按指定大小分批插入，避免一次性插入大量數(shù)據(jù)時(shí)出現(xiàn)性能問題或內(nèi)存溢出。

3.2 常用場(chǎng)景

• 批量插入數(shù)據(jù)：當(dāng)需要插入大量數(shù)據(jù)時(shí)，使用 saveBatch 可以顯著提高性能。
• 提高數(shù)據(jù)庫寫入效率：減少數(shù)據(jù)庫連接和插入的次數(shù)，有效提升性能。
• 處理大數(shù)據(jù)量時(shí)的內(nèi)存優(yōu)化：通過分批插入，避免一次性插入大量數(shù)據(jù)導(dǎo)致內(nèi)存溢出。

3.3 默認(rèn)實(shí)現(xiàn)的局限性

• 不支持多條 SQL 合并：在默認(rèn)情況下，即便使用 saveBatch，也有可能是逐條發(fā)送 SQL 語句。這會(huì)導(dǎo)致生成的 SQL 更冗長(zhǎng)、性能較低，尤其是在數(shù)據(jù)量較大時(shí)，執(zhí)行效率會(huì)明顯下降，無法充分利用數(shù)據(jù)庫批量插入的特性。
• 性能提升有限：默認(rèn)實(shí)現(xiàn)并未針對(duì)批量插入進(jìn)行特殊優(yōu)化。例如，它可能無法充分利用 JDBC 的批量操作特性，導(dǎo)致性能不如手動(dòng)實(shí)現(xiàn)的批量插入邏輯。對(duì)于大批量插入，性能可能不理想。
• 主鍵生成方式局限性：如果實(shí)體類中主鍵是由數(shù)據(jù)庫自動(dòng)生成（如自增主鍵），默認(rèn)實(shí)現(xiàn)會(huì)多次與數(shù)據(jù)庫交互獲取主鍵值。這會(huì)增加額外的數(shù)據(jù)庫開銷。尤其是當(dāng)數(shù)據(jù)量較大時(shí)，主鍵生成的額外查詢操作會(huì)顯著降低性能。
• 外鍵關(guān)系處理復(fù)雜：需要在插入數(shù)據(jù)后獲取主鍵 ID，這導(dǎo)致無法在批量插入時(shí)建立關(guān)聯(lián)關(guān)系，使得外鍵關(guān)系處理變得復(fù)雜。
• 缺乏靈活性：默認(rèn)實(shí)現(xiàn)只能進(jìn)行簡(jiǎn)單的插入操作，不能處理?xiàng)l件性插入（如：插入前判斷是否已存在相同記錄）或插入沖突處理（如主鍵沖突時(shí)自動(dòng)更新數(shù)據(jù)）。對(duì)需要?jiǎng)討B(tài)邏輯的場(chǎng)景不適用。

4 深度解析 rewriteBatchedStatements=true 的作用

4.1 JDBC 批處理機(jī)制

JDBC 批處理機(jī)制是一種優(yōu)化數(shù)據(jù)庫操作性能的技術(shù)，允許將多條 SQL 語句作為一個(gè)批次發(fā)送到數(shù)據(jù)庫服務(wù)器執(zhí)行，從而減少客戶端與數(shù)據(jù)庫之間的交互次數(shù)，顯著提高性能。通常用于 批量插入、批量更新 和 批量刪除 等場(chǎng)景。具體的流程如下：

//創(chuàng)建 PreparedStatement 對(duì)象,用于定義批處理的 SQL 模板。
    PreparedStatement pstmt = conn.prepareStatement(sql);
    for (Data data : dataList) {
      // 多次調(diào)用 addBatch() 方法,每次調(diào)用都會(huì)將一條 SQL 加入批處理隊(duì)列。
      pstmt.addBatch();
    }
      //執(zhí)行批處理,調(diào)用 executeBatch() 方法，批量發(fā)送 SQL 并執(zhí)行。
      pstmt.executeBatch();

4.2 MySQL JDBC 驅(qū)動(dòng)的默認(rèn)行為對(duì)批處理的影響

• 未開啟重寫：在默認(rèn)狀態(tài)下，MySQL JDBC 驅(qū)動(dòng)會(huì)逐一條目地發(fā)送批處理中的 SQL 語句，未開啟重寫功能。
• 性能瓶頸：頻繁的網(wǎng)絡(luò)交互以及數(shù)據(jù)庫解析操作，使得批量操作的性能提升效果有限，形成了性能瓶頸。

4.3 rewriteBatchedStatements=true 的魔力

• 啟用批處理重寫：?jiǎn)⒂门幚碇貙懝δ芎?，?qū)動(dòng)能夠?qū)⒍鄺l同類型的 SQL 語句進(jìn)行合并，進(jìn)而發(fā)送給數(shù)據(jù)庫執(zhí)行。
• 減少網(wǎng)絡(luò)交互：一次發(fā)送多條 SQL，可有效降低網(wǎng)絡(luò)延遲，減少網(wǎng)絡(luò)交互次數(shù)。
• 提高執(zhí)行效率：當(dāng)所有數(shù)據(jù)都通過一條 SQL 插入時(shí)，MySQL 只需要解析一次 SQL，降低了解析和執(zhí)行的開銷。
• 減少內(nèi)存消耗：雖然批量操作時(shí)將數(shù)據(jù)合并到一條 SQL 中，理論上會(huì)增加內(nèi)存使用（因?yàn)樾枰獦?gòu)建更大的 SQL 字符串），但相比多次單條插入的網(wǎng)絡(luò)延遲和處理開銷，整體的資源消耗和執(zhí)行效率是更優(yōu)的。

未開啟參數(shù)時(shí)的批處理 SQL：

INSERT INTO question (exam_id, content) VALUES (?, ?);
INSERT INTO question (exam_id, content) VALUES (?, ?);
INSERT INTO question (exam_id, content) VALUES (?, ?);

開啟參數(shù)后的批處理 SQL：

INSERT INTO question (exam_id, content) VALUES (?, ?), (?, ?), (?, ?);

5 預(yù)先生成 ID：解決外鍵關(guān)系的關(guān)鍵

5.1 問題分析

在插入題目和選項(xiàng)時(shí)，選項(xiàng)需要引用對(duì)應(yīng)題目的主鍵 ID。如果等待題目插入后再獲取 ID，會(huì)導(dǎo)致無法進(jìn)行批量操作，影響性能。所以，預(yù)先生成ID就成了我們解決問題的關(guān)鍵。

5.2 預(yù)先生成 ID 的解決方案

使用 zzidc（自研的 ID 生成器）：

• 全局唯一：生成的 ID 在全局范圍內(nèi)唯一，避免了主鍵沖突。
• 本地生成：無需依賴數(shù)據(jù)庫生成，減少了數(shù)據(jù)庫交互。
• 支持批量生成：提升獲取分布式唯一ID的效率

5.3 應(yīng)用實(shí)踐

5.3.1 引入 zzidc

<!--id生成器-->
        <dependency>
            <groupId>com.bj58.zhuanzhuan.idc</groupId>
            <artifactId>contract</artifactId>
            <version>${com.bj58.zhuanzhuan.idc.version}</version>
        </dependency>

5.3.2 具體的代碼業(yè)務(wù)執(zhí)行邏輯

在構(gòu)建題目和選項(xiàng)數(shù)據(jù)時(shí)，預(yù)先生成 ID，并在選項(xiàng)中引用對(duì)應(yīng)的題目 ID：

public Boolean createExamPaper(HeroExamRequest<ExamPaperRequest> request) throws BusinessException{
          // 構(gòu)建題目數(shù)據(jù)
          Question question = new Question();
          question.setId(questionId);
          question.setExamId(examId);
          // ...

          // 構(gòu)建選項(xiàng)數(shù)據(jù)
          Option option = new Option();
          option.setQuestionId(questionId);
          // ...
    }

6 綜合優(yōu)化實(shí)踐：性能提升 2000%

6.1 配置 rewriteBatchedStatements=true

6.1.1 修改數(shù)據(jù)庫連接配置

實(shí)現(xiàn)這個(gè)配置的方式很簡(jiǎn)單，只需要在我們現(xiàn)有的數(shù)據(jù)庫連接后面直接加上就好。例如：jdbc:mysql://localhost:3306/db_name?rewriteBatchedStatements=true

6.1.2 注意事項(xiàng)

• 驅(qū)動(dòng)版本：確保使用的 MySQL JDBC 驅(qū)動(dòng)版本支持該參數(shù)（5.1.13 及以上）。
• 參數(shù)位置：如果有多個(gè)參數(shù)，用 & 符號(hào)連接。

6.2 完整代碼示例

@Service
public class ExamServiceImpl implements ExamService {

  @Autowired
  private ExamMapper examMapper;
  @Autowired
  private QuestionService questionService;
  @Autowired
  private OptionService optionService;

  private static final int BATCH_SIZE = 2000;

  @Override
  @Transactional(rollbackFor = Exception.class)
  public void createExam(Exam exam, int questionCount, int optionCountPerQuestion) {
        // 預(yù)先生成試卷 ID
        long examId = zzidc.nextId();
        exam.setId(examId);
        examMapper.insert(exam);

        List<Question> questionList = new ArrayList<>();
        List<Option> allOptionList = new ArrayList<>();

        for (int i = 0; i < questionCount; i++) {
          // 預(yù)先生成題目 ID
          long questionId = zzidc.nextId();
          Question question = new Question();
          question.setId(questionId);
          question.setExamId(examId);
          question.setContent("題目?jī)?nèi)容" + i);
          questionList.add(question);

          // 構(gòu)建選項(xiàng)數(shù)據(jù)
          for (int j = 0; j < optionCountPerQuestion; j++) {
            Option option = new Option();
            option.setQuestionId(questionId);
            option.setContent("選項(xiàng)內(nèi)容" + j);
            allOptionList.add(option);
          }
      }

      // 批量插入題目和選項(xiàng)
      questionService.saveBatch(questionList, BATCH_SIZE);
      optionService.saveBatch(allOptionList, BATCH_SIZE);
  }
}

注意：以上代碼為示例，需根據(jù)實(shí)際項(xiàng)目進(jìn)行調(diào)整。

6.3 性能測(cè)試

6.3.1 測(cè)試數(shù)據(jù)

• 數(shù)據(jù)量：總共插入 100 道題目，每道題目 3 個(gè)選項(xiàng)。

6.3.2 測(cè)試方案

• 未優(yōu)化方案：逐條插入試卷、題目和選項(xiàng)數(shù)據(jù)。
• 使用 saveBatch：使用 saveBatch 批量插入，但未配置 rewriteBatchedStatements，且未預(yù)先生成 ID。
• 綜合優(yōu)化方案：配置 rewriteBatchedStatements=true，預(yù)先生成 ID，使用 saveBatch 批量插入。

6.3.3 測(cè)試結(jié)果

說明：以上數(shù)據(jù)為多次測(cè)試的平均值。

6.3.4 數(shù)據(jù)分析

• 未優(yōu)化方案：由于逐條插入，每次插入都需要與數(shù)據(jù)庫交互，導(dǎo)致耗時(shí)最長(zhǎng)。
• 使用 saveBatch：減少了與數(shù)據(jù)庫的交互次數(shù)，性能有所提升，但未充分利用 JDBC 驅(qū)動(dòng)的批處理優(yōu)化。
• 綜合優(yōu)化方案：通過配置 rewriteBatchedStatements=true，使 JDBC 驅(qū)動(dòng)將多條 SQL 合并為一條，顯著減少網(wǎng)絡(luò)和數(shù)據(jù)庫開銷；同時(shí)預(yù)先生成 ID，解決了外鍵關(guān)系的問題，支持批量插入，最終實(shí)現(xiàn)了性能的大幅提升。

7 多線程并發(fā)插入的實(shí)現(xiàn)

7.1 問題分析

直接在多線程中調(diào)用 saveBatch 方法，可能導(dǎo)致以下問題：

• 程安全性：在 MyBatis 中，SqlSession 在默認(rèn)情況下并非線程安全的。若在多線程環(huán)境下共享同一個(gè) SqlSession，極有可能導(dǎo)致數(shù)據(jù)錯(cuò)誤或引發(fā)異常。
• 事務(wù)管理：對(duì)于多線程操作而言，需要獨(dú)立的事務(wù)管理機(jī)制，以此來確保數(shù)據(jù)的一致性。
• 資源競(jìng)爭(zhēng)：過多的并發(fā)線程有可能致使數(shù)據(jù)庫連接池被耗盡，進(jìn)而降低性能。

7.2 正確的多線程實(shí)現(xiàn)方式

7.2.1 使用 @Async 異步方法

利用 Spring 的 @Async 注解，實(shí)現(xiàn)異步方法調(diào)用，每個(gè)異步方法都有自己的事務(wù)和 SqlSession。

配置異步支持：

@Configuration
@EnableAsync
public class AsyncConfig {
@Bean(name = "taskExecutor")
public Executor taskExecutor() {
    ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
    executor.setCorePoolSize(4); // 核心線程數(shù)
    executor.setMaxPoolSize(8); // 最大線程數(shù)
    executor.setQueueCapacity(100); // 隊(duì)列容量
    executor.setThreadNamePrefix("AsyncExecutor-");
    executor.initialize();
    return executor;
  }
}

修改批量插入方法：

@Service
public class QuestionServiceImpl implements QuestionService {

  @Autowired
  private QuestionMapper questionMapper;

  @Override
  @Async("taskExecutor")
  @Transactional(rollbackFor = Exception.class)
  public CompletableFuture<Void> saveBatchAsync(List<Question> questionList) {
    saveBatch(questionList, BATCH_SIZE);
    return CompletableFuture.completedFuture(null);
  }
}

7.2.2 調(diào)用異步方法

public void createExam(Exam exam, int questionCount, int optionCountPerQuestion) {
  // ... 數(shù)據(jù)準(zhǔn)備部分略 ...

  // 將題目列表拆分成多個(gè)批次
  List<List<Question>> questionBatches = Lists.partition(questionList, BATCH_SIZE);
  List<List<Option>> optionBatches = Lists.partition(allOptionList, BATCH_SIZE);

  List<CompletableFuture<Void>> futures = new ArrayList<>();

  // 異步批量插入題目
  for (List<Question> batch : questionBatches) {
    CompletableFuture<Void> future = questionService.saveBatchAsync(batch);
    futures.add(future);
  }

  // 異步批量插入選項(xiàng)
  for (List<Option> batch : optionBatches) {
    CompletableFuture<Void> future = optionService.saveBatchAsync(batch);
    futures.add(future);
  }

  // 等待所有異步任務(wù)完成
  CompletableFuture.allOf(futures.toArray(new CompletableFuture[0])).join();
}

7.2.3 注意事項(xiàng)

• 線程安全：每個(gè)異步方法均擁有自身獨(dú)立的 SqlSession 和事務(wù)，從而有效地避免了線程安全方面的問題。
• 事務(wù)管理：在異步方法上添加 @Transactional 注解，能夠確保事務(wù)的獨(dú)立性。
• 異步結(jié)果處理：通過使用 CompletableFuture 來等待異步任務(wù)的完成，以此確保所有數(shù)據(jù)均已成功插入。

8 數(shù)據(jù)庫層面的優(yōu)化

8.1 調(diào)整數(shù)據(jù)庫連接池

• 增加連接池大小：在多線程并發(fā)的情形下，務(wù)必確保數(shù)據(jù)庫連接池具備足夠數(shù)量的連接可供使用。
• 合理配置：應(yīng)根據(jù)實(shí)際情況對(duì)連接池的最小連接數(shù)和最大連接數(shù)進(jìn)行適當(dāng)調(diào)整，以避免出現(xiàn)連接不足或者資源浪費(fèi)的情況。

8.2 配置 MyBatis 的執(zhí)行器類型

修改執(zhí)行器類型為 BATCH：在 MyBatis 配置中，設(shè)置執(zhí)行器類型，可以提高批量操作的性能。

<configuration>
  <settings>
    <setting name="defaultExecutorType" value="BATCH"/>
  </settings>
</configuration>

注意：使用 BATCH 執(zhí)行器時(shí)，需要手動(dòng)調(diào)用 sqlSession.flushStatements()，并處理返回的 BatchResult，復(fù)雜度較高，建議謹(jǐn)慎使用。

9 監(jiān)控與調(diào)優(yōu)

9.1 監(jiān)控異步任務(wù)的執(zhí)行情況

• 使用 CompletableFuture：在調(diào)用異步方法時(shí)，返回 CompletableFuture，可以方便地等待所有任務(wù)完成。
• 日志記錄：在異步方法中添加日志，記錄開始和結(jié)束時(shí)間，監(jiān)控執(zhí)行情況。

@Async("taskExecutor")
@Transactional(rollbackFor = Exception.class)
public CompletableFuture<Void> saveBatchAsync(List<Question> questionList) {
  long startTime = System.currentTimeMillis();
  saveBatch(questionList, BATCH_SIZE);
  long endTime = System.currentTimeMillis();
  logger.info("Inserted batch of {} questions in {} ms", questionList.size(), (endTime - startTime));
  return CompletableFuture.completedFuture(null);
}

9.2 調(diào)整線程池參數(shù)

• 線程池大?。阂罁?jù)服務(wù)器的 CPU 核心數(shù)以及數(shù)據(jù)庫的承載能力，對(duì)線程池的 corePoolSize 和 maxPoolSize 進(jìn)行合理設(shè)置。
• 隊(duì)列容量：設(shè)置線程池的 queueCapacity，以防止因任務(wù)過多而導(dǎo)致內(nèi)存溢出的情況發(fā)生。

10 最佳實(shí)踐總結(jié)

10.1 綜合優(yōu)化策略

• 將 rewriteBatchedStatements 配置為 true：以此啟用 JDBC 驅(qū)動(dòng)的批處理重寫功能，可顯著提高批量插入的性能表現(xiàn)。
• 預(yù)先生成 ID：采用 zzidc 等方式預(yù)先生成主鍵 ID，有效解決外鍵關(guān)系問題，進(jìn)而支持批量插入操作。
• 使用異步方法進(jìn)行多線程批量插入：運(yùn)用異步方法來進(jìn)行多線程批量插入，確保線程安全與事務(wù)獨(dú)立，避免出現(xiàn)資源競(jìng)爭(zhēng)的情況。
• 調(diào)整數(shù)據(jù)庫連接池和線程池參數(shù)：對(duì)數(shù)據(jù)庫連接池和線程池的參數(shù)進(jìn)行調(diào)整，以滿足多線程并發(fā)操作的實(shí)際需求。
• 監(jiān)控異步任務(wù)和數(shù)據(jù)庫性能：對(duì)異步任務(wù)和數(shù)據(jù)庫性能進(jìn)行實(shí)時(shí)監(jiān)控，以便能夠及時(shí)發(fā)現(xiàn)并解決性能瓶頸問題。

10.2 注意事項(xiàng)

• 線程安全性：在多線程的環(huán)境之中，務(wù)必確保所有資源要么是線程安全的，要么是線程獨(dú)立的。
• 事務(wù)一致性：每個(gè)異步任務(wù)均擁有自身的事務(wù)，以此確保數(shù)據(jù)的一致性。
• 資源合理利用：避免因過多的并發(fā)線程而致使系統(tǒng)資源被耗盡，進(jìn)而影響整體性能表現(xiàn)。

結(jié)語

深入理解 rewriteBatchedStatements=true 參數(shù)的效用，再結(jié)合預(yù)先生成 ID、恰當(dāng)?shù)亩嗑€程實(shí)現(xiàn)方式以及數(shù)據(jù)庫參數(shù)調(diào)整等優(yōu)化策略，我們成功地將 MyBatis-Plus 批量插入的性能大幅提升了 2000%。這些優(yōu)化技巧不但在考試系統(tǒng)中適用，在其他需要批量處理大量數(shù)據(jù)的場(chǎng)景下同樣具有重要的參考價(jià)值。

性能優(yōu)化乃是一項(xiàng)系統(tǒng)性工程，需從應(yīng)用層、數(shù)據(jù)庫層、硬件層等多個(gè)層面著手。期望本文的分享能夠在實(shí)際項(xiàng)目中為您提供切實(shí)可行的指導(dǎo)，助力您的應(yīng)用成功突破性能瓶頸。

關(guān)于作者

張守法 俠客匯Java開發(fā)工程師