Spring Batch - Как прочитать один большой файл в несколько потоков?

Question

Проблема: прочитайте файл размером> 10 МБ и загрузите его в промежуточную таблицу с помощью Spring Batch. Как мы можем поддерживать состояние при чтении файла, чтобы перезапустить работу, если она не удалась?

В соответствии с документацией FileItemReader не является поточно-ориентированным, и если мы попытаемся сделать его поточно-безопасным, мы в конечном итоге теряем возможность перезапуска. Итак, основные вопросы:

1. Есть ли способ прочитать файл в блоках, и каждый поток знает, какой блок ему нужно прочитать?
2. Если мы сделаем чтение синхронным, какие изменения потребуются для перезапуска задания в этом сценарии?

Если кто-либо сталкивался с подобными проблемами или проанализировал, как он работает, это поможет нам принять решение.

Также приветствуются любые указатели или примеры кодов.

Answer 1

Многопоточность полезна, только если ваши потоки делают разные вещи одновременно.Например, вы можете иметь два потока, работающих на разных процессорах.Или один поток может ожидать сетевого сообщения, в то время как другой рисует экран.

Но в вашем случае оба потока будут ожидать одного и того же ввода-вывода с одного и того же устройства, поэтому нет смысла использовать больше, чемone.

См. также этот вопрос Чтение файла несколькими потоками