Может ли Spring партия использоваться для обработки данных или это только инструмент ETL?

Question

Я пытаюсь использовать Spring Batch в одном из моих проектов, так как есть другой проект, основанный на Spring Batch.

Однако чем больше я читаю, тем больше понимаю, что пакет Spring не имеет ничего общего с ApacheBeam или MapReduce, он используется только для передачи данных SAME из одного места в другое с отображением некоторых типов, например varchar -> строка.

Однако задача, стоящая перед нами, требует некоторой обработки, не только сопоставления и преобразования типов, но также агрегации и структуры данных. Может ли Spring партия использоваться для обработки данных или это только инструмент ETL?

Answer 1

хорошо, я не согласен с этим, что подпружиненный пакет - используется только для переноса ЖЕ данных из одного места в другое с некоторым отображением типа, например varchar -> string.

Работал в этой технологии в течение 4 лет и был свидетелем того, как эта среда значительно выросла.

Spring batch хорошо подходит для обработки данных, составления карт, требуемого преобразования и агрегирования данных - для обработки данных определенно можно использовать spring batch.

это технология с открытым исходным кодом - вы получите много материала для чтения, а на форумах, подобных stackoverflow, есть множество часто задаваемых вопросов.

Для масштабирования и распараллеливания существуют различные архитектуры в пакетном режиме, которые помогут повысить производительность.

Более подробную информацию вы можете найти здесь

SPRING_BATCH_SCALING_AND_PARALLELING

Если вы хотите следить за своими работами, тогда вы можете использовать - Spring Cloud Date Flow. Мониторинг также можно сделать с помощью AppDynamics.

Ссылка на этот блог -

MONITOR_SPRING_BATCH_JOB_WITH_APP_DYNAMICS

Еще одним преимуществом использования Spring Batch является то, что у вас есть много предопределенных типов читателей, процессоров и записывающих устройств, которые поддерживают такие источники, как файл, БД, поток и т. Д.

Вдобавок к этому - поскольку это основанный на Java фреймворк, вы можете делать все, что можно сделать с помощью Java.

Надеюсь, это поможет.

Answer 2

Spring Batch (SB) дает нам все три - E, T и L.

Однако мы должны решить, использовать SB или нет.Это опять-таки количественное решение о том, действительно ли человеку / команде нужно это изучать, если они этого не знают.Необходимо оценить ROI (возврат инвестиций).Если это только E или T или L, могут быть другие более простые решения.

Если мы говорим только о Java, И ни о одном из этих трех, SB не требуется.Но опять же, когда дело доходит до простоты (если вы знаете SB), масштабируемости, мониторинга, параллельной обработки управляемых транзакций - все это идет рука об руку с SB из коробки.