java, sqlldr и shell-скрипт используют для 10 миллионов данных

Question

Я хочу загрузить 10 миллионов данных в базу данных Oracle из файла, который находится на FTP. Я использую комбинацию сценария Java + shell + SQLLDR следующим образом -

1. загрузить 10 миллионовфайл данных в FTP вручную.
2. запустить код Java
3. вызвать .sh из кода Java
4. .sh удаляет дубликаты из файла данных 10 миллионов исоздает новый файл, свободный от дубликатов
5. .sh вызывает SQLLDR для загрузки новых дублированных данных бесплатного файла в Oracle Oracle DB

Пожалуйста, сообщите мне, если я придерживаюсь оптимального пути. спасибовсем :)

Answer 1

Я предполагаю, что вы сортируете свой файл данных, чтобы удалить дубликаты. В этом случае вы можете повысить производительность, используя прямую загрузку пути с параметром SORTED INDEXES.