Java springboot整合springbatch实现读取csv，并写入数据库

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Java springboot整合springbatch实现读取csv，并写入数据库，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4162字，纯文字阅读大概需要6分钟。

内容图文

1.导入依赖：

    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-jdbc</artifactId>
    </dependency>

    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>

    <dependency>
        <groupId>org.postgresql</groupId>
        <artifactId>postgresql</artifactId>
        <scope>runtime</scope>
    </dependency>

    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <optional>true</optional>
    </dependency>

    <dependency>
        <groupId>com.baomidou</groupId>
        <artifactId>mybatis-plus-boot-starter</artifactId>
        <version>3.0.5</version>
    </dependency>

    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>druid</artifactId>
        <version>1.0.23</version>
    </dependency>
    <!--        csv依赖-->
    <dependency>
        <groupId>org.apache.commons</groupId>
        <artifactId>commons-csv</artifactId>
        <version>1.7</version>
    </dependency>

    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-batch</artifactId>
    </dependency>

`

2.创建数据库，数据表，并且保证字段属性要与实体类中数据类型对应 创建实体类：
@Data
@NoArgsConstructor
@AllArgsConstructor
public class Test {

      Date time;
      String base_station_name;
      String integrity;
      String energy_consumption;
      String manufactor;
        }

3.创建SpringBatch的配置类
@Configuration
public class CsvBatchJonConfig {

// 注入JobBuilderFactory，用来构建job
@Autowired
JobBuilderFactory jobBuilderFactory;
// 注入StepBuilderFactory，用来构建step
@Autowired
StepBuilderFactory stepBuilderFactory;

// 持久化操作----数据源
@Autowired
DataSource dataSource;
// 持久化操作----mybatis-plus
@Autowired
TestMapper testMapper;

// 配置一个ItemReader，即数据的读取逻辑
@Bean
@StepScope
FlatFileItemReader<Test> itemReader() {
    // FlatFileItemReader 是一个加载普通文件的 ItemReader
    FlatFileItemReader<Test> reader = new FlatFileItemReader<>();
    // 由于data.csv文件第一行是标题，因此通过setLinesToSkip方法设置跳过一行
    reader.setLinesToSkip(2);
    // setResource方法配置data.csv文件的位置
    reader.setResource(new ClassPathResource("子报表.csv"));
    // 通过setLineMapper方法设置每一行的数据信息
    reader.setLineMapper(new DefaultLineMapper<Test>(){{
        setLineTokenizer(new DelimitedLineTokenizer(){{
            // setNames方法配置了data.csv文件一共有4列，分别是id、username、以及sex,
            setNames("time","base_station_name","integrity","energy_consumption","manufactor");
            // 配置列与列之间的间隔符（这里是空格）
            setDelimiter(",");
        }});
        setFieldSetMapper(new BeanWrapperFieldSetMapper(){{
            setTargetType(Test.class);
        }});
    }});
    return reader;
}


// 配置ItemWriter，即数据的写出逻辑
@Bean
JdbcBatchItemWriter jdbcBatchItemWriter() {
    // 使用的JdbcBatchltemWriter则是通过JDBC将数据写出到一个关系型数据库中。
    JdbcBatchItemWriter writer = new JdbcBatchItemWriter();
    // 配置使用的数据源
    writer.setDataSource(dataSource);
    // 配置数据插入SQL，注意占位符的写法是":属性名"
    writer.setSql("insert into test(time,base_station_name,integrity,energy_consumption,manufactor) " +
            "values(:time,:base_station_name,:integrity,:energy_consumption,:manufactor)");

    // 最后通过BeanPropertyItemSqlParameterSourceProvider实例将实体类的属性和SQL中的占位符一一映射
    writer.setItemSqlParameterSourceProvider(
            new BeanPropertyItemSqlParameterSourceProvider<>());
    return writer;
}

// 配置一个Step
@Bean
Step csvStep() {
    // Step通过stepBuilderFactory进行配置
    return stepBuilderFactory.get("csvStep") //通过get获取一个StepBuilder，参数数Step的name
            .<Test, Test>chunk(2) //方法的参数2，表示每读取到两条数据就执行一次write操作
            .reader(itemReader()) // 配置reader
            .writer(jdbcBatchItemWriter()) // 配置writer
            .build();
}

// 配置一个Job
@Bean
Job csvJob() {
    // 通过jobBuilderFactory构建一个Job，get方法参数为Job的name
    return jobBuilderFactory.get("csvJob")
            .start(csvStep()) // 配置该Job的Step
            .build();
}

}

`
4.主启动类添加开启springbatch

5.编写一个controller接口进行测试
`

@RestController
public class Hello {

//JobLauncher 由框架提供
@Autowired
JobLauncher jobLauncher;
// Job  为刚才配置的
@Autowired
Job job;

@GetMapping("/hello")
public String hello(){

    try {
        JobParameters jobParameters = new JobParametersBuilder()
                .toJobParameters();
        // 通过调用 JobLauncher 中的 run 方法启动一个批处理
        jobLauncher.run(job, jobParameters);
    } catch (Exception e) {
        e.printStackTrace();
    }


    return "hello world";

}

}

`
6.完成！

内容总结

以上是互联网集市为您收集整理的Java springboot整合springbatch实现读取csv，并写入数据库全部内容，希望文章能够帮你解决Java springboot整合springbatch实现读取csv，并写入数据库所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端