загрузка csv файла с общего диска в таблицу Mssql с помощью Spring

Question

Я ищу подход / кодовую базу, которая может выполнить следующее требование.

1. У нас есть исходный файл (отформатированный) на общем диске, который имеет ~ один миллионов записей, на этом диске каждый день появляется новый файл с префиксом даты (например, 02-12-2018_abcd.txt)

   2.При чтении файла из папки sharedrive, если произошла ошибка,
   не должен фиксировать вставку sql.

   3.Эта работа должна выполняться в запланированное время.

Я нашел пару подходов для чтения файла с общего диска, например, jar для чтения, другой подход - это копирование файла с общего диска на локальную машину (на сервере приложений) и выполнение пакетной обработки Spring, а другой подход использует интеграцию Spring адаптер, входящий канал и т. д.

Пожалуйста, предложите и лучший подход и базовый код / ​​код git для того же самого. Спасибо

Answer 1

Это типичный случай использования, в котором Spring Batch может помочь. У вас может быть первый шаг (типа тасклет), который копирует файл с общего диска на локальный компьютер, а затем второй шаг (тасклет типа чанк-ориентированный), который читает файл и вставляет данные в базу данных.

Вы можете найти образцы здесь: https://github.com/spring-projects/spring-batch/tree/master/spring-batch-samples