java – Spring Batch Processor

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了java – Spring Batch Processor，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含2532字，纯文字阅读大概需要4分钟。

内容图文

我在Spring Batch中有一个要求,我有一个文件,其中有数千条记录按排序顺序排列.关键字段是产品代码.
该文件可能有多个相同产品代码的记录.要求是我必须对具有相同产品代码的记录进行分组
product集合中的代码(即List)然后将它们发送到一个方法,即validateProductCodes(List prodCodeList).
我正在寻找最好的方法.我想到的方法是读取处理器中的每条记录,然后构建一个集合
处理器中相同产品代码的记录.如果处理器中的任何一点,如果记录中的产品代码不同,则意味着
productCode分组已完成,并且可以使用相同的产品代码为该组记录调用validateProductCodes().我也使用Step.So
这不是自动意味着进程是多线程的吗？含义具有相同productCode的记录组将以多线程方式处理.请注意.

谢谢

解决方法:

您的问题有两个问题：第一,您想知道如何将项目分组在一起,以及第二个如何处理它们.

为了对它们进行分组,您可以像Luca建议的那样创建一个组阅读器,例如：

public class GroupReader<I> implements ItemReader<List<I>>{
  private SingleItemPeekableItemReader<I> reader;
  private ItemReader<I> peekReaderDelegate;

  public void setReader(ItemReader<I> reader) {
      peekReaderDelegate = reader;
  }

  @Override
  public void afterPropertiesSet() throws Exception {
    Assert.notNull(peekReaderDelegate, "The 'itemReader' may not be null");
    this.reader= new SingleItemPeekableItemReader<I>();
    this.reader.setDelegate(delegateReader);
  }

  @Override
  public List<I> read() throws Exception {
    State state = State.NEW;
    List<I> group = null;
    I item = null;

    while (state != State.COMPLETE) {
      item = reader.read();

      switch (state) {
        case NEW: {
          if (item == null) {
            // end reached
            state = State.COMPLETE;
            break;
          }

          group = new ArrayList<I>();
          group.add(item);
          state = State.READING;
          I nextItem = reader.peek();
          if (isItAKeyChange(item, nextItem)) {
            state = State.COMPLETE;
          }
          break;
        }
        case READING: {
          group.add(item);

          // peek and check if there the peeked entry has a new date
          I nextItem = peekEntry();
          if (isItAKeyChange(item, nextItem)) {
            state = State.COMPLETE;
          }
          break;
        }
        default: {
          throw new org.springframework.expression.ParseException(groupCounter, "ParsingError: Reader is in an invalid state");
        }
      }
    }

    return group;
  }
}

对于每个键,此阅读器将返回一个列表,其中包含与此键匹配的所有元素.因此,分组直接在读者中完成.
正如您所描述的那样,您无法使用处理器执行此操作.

关于多线程的第二个问题.
现在,使用步骤并不一定意味着,使用多个线程处理该步骤.

为此,您需要设置AsyncTaskExecutor,并且必须设置限制.

但是,如果你这样做,你的读者必须是线程安全的,否则你的分组将无法正常工作.你可以通过简单地将上面的read方法定义为synchronized来实现.

另一种方法是编写一个小的SynchronizedWrapperReader,如本问题所示：Parellel Processing Spring Batch StaxEventItemReader

请注意,根据您要写入的目标,您可能还必须同步编写器,并在必要时重新排序结果.

内容总结

以上是互联网集市为您收集整理的java – Spring Batch Processor全部内容，希望文章能够帮你解决java – Spring Batch Processor所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端