Spring Batch: чтение нескольких файлов JSON и обработка по одному

Question

У меня есть огромные файлы JSON в папке около 200 каждый по 300 мб.Мне нужно написать пакет Spring для чтения и обработки файлов один за другим.

В основном означает чтение одного файла за один раз, затем запуск процессора, затем запуск записи и чтение следующего файла. Этот файл - в основном данные клиента идамп активности, в котором каждый файл содержит данные нескольких пользователей и множество файлов.Как показано ниже

[{
"cutomerId":123,
"customerName":"bla babha",
"phoneNumber" : 5060974321,
..
,,
},{
"cutomerId":123,
"customerName":"bla babha",
"phoneNumber" : 5060974321,
..
..
}
]

Поскольку я не могу прочитать все файлы одновременно из-за проблемы с пространством.

Возможно ли это.какая будет конфигурация.

Пожалуйста, помогите.

Answer 1

Spring Batch v4.1 представил JsonItemReader , который вы можете использовать для чтения ваших файлов json.Более подробную информацию о поддержке Json можно найти в разделе Устройства чтения и записи элементов JSON справочной документации.

Этот читатель можно использовать в качестве делегата для MultiResourceItemReader (как упоминал Лука Бассо Риччи в комментарии), чтобы прочитать несколько файлов JSON в каталоге.Вы можете найти пример здесь .В примере показан FlatFileItemReader в качестве делегата, но вы можете использовать аналогичную конфигурацию с JsonItemReader.

Надеюсь, это поможет.