<dependencies>
    <!-- EasyExcel -->
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>easyexcel</artifactId>
        <version>latest_version</version>
    </dependency>

    <!-- 數(shù)據(jù)庫連接和線程池 -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-data-jpa</artifactId>
    </dependency>
</dependencies>

@Service
public class ExcelImporterService {

    @Autowired
    private MyDataService myDataService;
    
    public void doImport() {
        // Excel文件的路徑
        String filePath = "users/paidaxing/workspace/excel/test.xlsx";

        // 需要讀取的sheet數(shù)量
        int numberOfSheets = 20;

        // 創(chuàng)建一個固定大小的線程池，大小與sheet數(shù)量相同
        ExecutorService executor = Executors.newFixedThreadPool(numberOfSheets);

        // 遍歷所有sheets
        for (int sheetNo = 0; sheetNo < numberOfSheets; sheetNo++) {
            // 在Java lambda表達式中使用的變量需要是final
            int finalSheetNo = sheetNo;

            // 向線程池提交一個任務(wù)
            executor.submit(() -> {
                // 使用EasyExcel讀取指定的sheet
                EasyExcel.read(filePath, MyDataModel.class, new MyDataModelListener(myDataService))
                         .sheet(finalSheetNo) // 指定sheet號
                         .doRead(); // 開始讀取操作
            });
        }

        // 啟動線程池的關(guān)閉序列
  executor.shutdown();

        // 等待所有任務(wù)完成，或者在等待超時前被中斷
        try {
            executor.awaitTermination(Long.MAX_VALUE, TimeUnit.NANOSECONDS);
        } catch (InterruptedException e) {
            // 如果等待過程中線程被中斷，打印異常信息
            e.printStackTrace();
        }
    }
}

import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.read.listener.ReadListener;
import org.springframework.transaction.annotation.Transactional;
import java.util.ArrayList;
import java.util.List;

// 自定義的ReadListener，用于處理從Excel讀取的數(shù)據(jù)
public class MyDataModelListener implements ReadListener<MyDataModel> {
    // 設(shè)置批量處理的數(shù)據(jù)大小
    private static final int BATCH_SIZE = 1000;
    // 用于暫存讀取的數(shù)據(jù)，直到達到批量大小
    private List<MyDataModel> batch = new ArrayList<>();

    
    private MyDataService myDataService;

    // 構(gòu)造函數(shù)，注入MyBatis的Mapper
    public MyDataModelListener(MyDataService myDataService) {
        this.myDataService = myDataService;
    }

    // 每讀取一行數(shù)據(jù)都會調(diào)用此方法
    @Override
    public void invoke(MyDataModel data, AnalysisContext context) {
        //檢查數(shù)據(jù)的合法性及有效性
        if (validateData(data)) {
            //有效數(shù)據(jù)添加到list中
            batch.add(data);
        } else {
            // 處理無效數(shù)據(jù)，例如記錄日志或跳過
        }
        
        // 當達到批量大小時，處理這批數(shù)據(jù)
        if (batch.size() >= BATCH_SIZE) {
            processBatch();
        }
    }

    
    private boolean validateData(MyDataModel data) {
        // 調(diào)用mapper方法來檢查數(shù)據(jù)庫中是否已存在該數(shù)據(jù)
        int count = myDataService.countByColumn1(data.getColumn1());
        // 如果count為0，表示數(shù)據(jù)不存在，返回true；否則返回false
        if(count == 0){
         return true;
        }
        
        // 在這里實現(xiàn)數(shù)據(jù)驗證邏輯
        return false;
    }


    // 所有數(shù)據(jù)讀取完成后調(diào)用此方法
    @Override
    public void doAfterAllAnalysed(AnalysisContext context) {
        // 如果還有未處理的數(shù)據(jù)，進行處理
        if (!batch.isEmpty()) {
            processBatch();
        }
    }

    // 處理一批數(shù)據(jù)的方法
    private void processBatch() {
        int retryCount = 0;
        // 重試邏輯
        while (retryCount < 3) {
            try {
                // 嘗試批量插入
                myDataService.batchInsert(batch);
                // 清空批量數(shù)據(jù)，以便下一次批量處理
                batch.clear();
                break;
            } catch (Exception e) {
                // 重試計數(shù)增加
                retryCount++;
                // 如果重試3次都失敗，記錄錯誤日志
                if (retryCount >= 3) {
                    logError(e, batch);
                }
}

import org.apache.ibatis.annotations.Mapper;
import java.util.List;

@Mapper
public interface MyDataMapper {
    void batchInsert(List<MyDataModel> dataList);

    int countByColumn1(String column1);
}

<insert id="batchInsert" parameterType="list">
    INSERT INTO paidaxing_test_table_name (column1, column2, ...)
    VALUES 
    <foreach collection="list" item="item" index="index" separator=",">
        (#{item.column1}, #{item.column2}, ...)
    </foreach>
</insert>

<select id="countByColumn1" resultType="int">
    SELECT COUNT(*) FROM your_table WHERE column1 = #{column1}
</select>