Невозможно получить все записи на основе различных pageSize и ChunkSize при использовании JpaPagingItemReader - PullRequest
Новая
       29

Невозможно получить все записи на основе различных pageSize и ChunkSize при использовании JpaPagingItemReader

0 голосов
/ 25 октября 2018

Мне нужно охватить 14 записей.chunkSize - 10 страниц. Размер - 2. Он определяет только 10 записей.

Я проверял разными способами.chunkSize = 5 pageSize = 10 Все еще ограничены только 10 записями, а не всеми 14.

работает нормально, только если chunksize = 11 и pageSize = 10 или chunkSize = 10 и pageSize = 20 

 build.gradle

  partition:
    defaultPartitionSize: 5
    partitionScopeChunkSize: 10
  jobs:
    jpaPagingSize: 2
  ===================ReaderClass============================ 
  public class PagingItemReader extends 
  JpaPagingItemReader<ScopeParams> {

     public PagingItemReader (
                              EntityManager entityManager,
                              EntityManagerFactory entityManagerFactory,
                              @Value("${spring.jobs.jpaPagingSize}") int jpaPagingSize)
        Map<String, Object> parameterValues = new HashMap<>();
        this.setQueryProvider(
                 ScopeParamsQueryProvider.buildForContinuousMatchScoping(
                      entityManager, 
                      IndustryCodes.valueFromCode(industryCd)));
        this.setEntityManagerFactory(entityManagerFactory);
        this.setPageSize(jpaPagingSize);
        this.setSaveState(true);
        this.setParameterValues(parameterValues);

  }
}

 ==============WriterClass==========
 public class JpaItemWriter<T> extends JpaItemWriter<T> {
   private JpaRepository<T, ? extends Serializable> repository;

   public JpaItemWriter(JpaRepository<T, ?> repository) {
    this.repository = repository;
    }

  @Override
  @Transactional
  public void write(List<? extends T> items) {
    persistEntities(items);
  }

  private void persistEntities(List<? extends T> list) {
    list.stream()
            .peek(item -> log.info("Writing={}", item))
            .forEach(repository::save);
  }

} 

 ===================Step Configuration========
public Step WorkStep(StepBuilderFactory stepBuilderFactory,
              PagingItemReader ItemReader,
              ItemProcessor ItemProcessor,
              JpaItemWriter<Scope> itemWriter) {
    return stepBuilderFactory.get(WORK_MATCH)
            .<Scope, ExecutionScope>chunk(10)
            .reader(ItemReader)
            .processor(ItemProcessor)
            .writer(itemWriter)
            .build();
}

Код процессора, 

public class MatchItemProcessor implements ItemProcessor<Scope,ExecutionScope> { 

public ExecutionScope process(Scope financialTransaction) throws Exception { 
return batchExecutionScope; 
} 
} 

private ExecutionScope prepareData(Scope transaction) { ExecutionScope executionScope = new ExecutionScope(); executionScope .setIndustryTypeCode(financialTransaction.getIndustryTypeCode()); return executionScope ; }

Я обновляю другой объект в процессоре с теми же полями, по которым происходит чтение.Итак, я читаю сущность "Scope" в классе читателей.В классе процессора создание объекта execitionScope и обновление значений на основе области и сохранение execitionScope в БД.

Обе сущности указывают на разные таблицы.ScopeParam хит fin_t стол и ExecutionScope хит exec_scope стол.

пожалуйста, предоставьте мне предложение.

1 Ответ

0 голосов
/ 26 октября 2018

Проблема была решена.Я получил помощь по этой ссылке. Spring batch jpaPagingItemReader, почему некоторые строки не читаются?

  • Фактическая проблема

    JPAPagingItemReader использует смещения и ограничения, и если выходные данные запроса на определение области видимости изменяютсякак часть вашей записи / чанкинга, на следующей странице уже будет измененный набор данных, и смещение будет пропускать необработанные данные.Так как наш запрос области действия игнорирует транзакции, уже находящиеся в области действия как часть любого активного пакета, как только будет проверен первый выгружаемый набор, они подпадают под упущение.работает работа.

...