使用MyBatisCursorItemReader实现基于流的大批量数据读取

在SpringBoot+Mybatis系统中，涉及到SQL查询数据量较大的场景，将所有数据一次查出存放到内存里，会造成较大的系统负担。通常有2种方式解决：

1. 采用分页方式，分多次查询数据并处理
2. 使用Mybatis提供的MyBatisCursorItemReader，实现基于流的数据读取

这里介绍第二种用法。

原始代码：

    @Overridepublic List<ScUserExportListV> exportList(UserListF form) {// 总记录数1000w条List<ScUserExportListV> userList = baseMapper.exportList(form);return userList;}

<select id="exportList" resultType="com.yechen.smm.domain.vo.ScUserExportListV">select id, intime, name, status, work_experience as workExperiencefrom sc_user<where><if test="name != null and name != ''">and name like concat('%', #{name}, '%')</if></where>
</select>

实现方式：

        1、引入 springBatch 依赖

<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-batch</artifactId>
</dependency>

        2、修改Service层方法

@Override
public List<ScUserExportListV> exportList(UserListF form) {// 总记录数1000w条
//        List<ScUserExportListV> userList = baseMapper.exportList(form);MyBatisCursorItemReader<ScUserExportListV> reader = new MyBatisCursorItemReader<>();// 查询方法的映射路径reader.setQueryId("com.yechen.smm.mapper.ScUserMapper.exportList");reader.setSqlSessionFactory(sqlSessionFactory);reader.setParameterValues(BeanUtil.beanToMap(form));try {reader.open(new ExecutionContext());while (true) {ScUserExportListV v = reader.read();if (v == null) {break;}// todo 对单个 ScUserExportListV 进行业务处理}} catch (Exception e) {e.printStackTrace();} finally {reader.close();}return Collections.emptyList();
}

reader.open(new ExecutionContext()) 方法会建立一个连接数据库的流，并通过read方法对查询数据进行逐个处理。