Я сталкиваюсь с проблемой сложности времени и нахожу лучший способ загрузки записей файлов Excel в базу данных.
Современные технологии, которые я использовал
- Java (Spring boot Hibernate).
- База данных PostgreSQL.
Текущая реализация, которую я использовал
- преобразование файла (строк) в список объектов с использованием зависимости Apache poi
- проверка типа данных столбцов
- составить список pojo для сохранения в базе данных, например repository.saveAll (list_of_pojo)
Проблемы
Примердля 30 000 строк
- В java мы будем повторять 30 000 записей для проверки столбцов.
- В нем более 80 столбцов .
- Вставка в базу данных занимает слишком много времени.для выполнения метода hibernate saveAll () требуется более 25 минут.
Спецификация системы
16 ГБ ОЗУ, 1 ТБ на жестком диске.
Самая большая проблема возникает, когда в файле excel есть сотни тысяч или миллионы строк.воля выглядит бесконечно.
Как мне преодолеть за это время сложность.Должен ли я пойти с некоторыми другими технологиями.Я слышал что-то под названием scala и технологии Hadoop , но я понятия не имею, как использовать это для нашей задачи.
Пожалуйста, дайте решение для этого, чтобы ускорить результаты.