Использование wbimport на sql верстаке / j с драйвером presto

Question

, поэтому я использую верстак для импорта текстового файла размером 160 тыс. Строк в код таблицы:

Wbimport
-usepgcopy
-type=text
-endrow=164841
-file=‘book1.csv’
-table=it.table1
-delimiter=,
-multiline=true

Итак, я попробовал это с 3-строчной версией моего файла размером 160 тыс. Строк, и он был завершен в несколько секунд. Кажется, что это завершается только в режиме автоматической фиксации, и когда я пытаюсь запустить его на полном 160-строчном файле, требуется более 200 часов, чтобы понять, почему - или альтернативы.

Я использую верстак build 125 и presto jdb c -0.216

Спасибо

Answer 1

Скорее всего, причина в том, что общая транзакция становится слишком большой, что приводит к слишком большой нагрузке на wbimport и соединение jdb c. Вероятно, это будет работать намного быстрее, если разбить это на отдельные операции импорта, например, 1000 записей на импорт.

Если вы сначала разбиваете файл на несколько файлов, а затем импортируете их по одному, вы также избегаете повторное чтение большого файла для поиска нужной записи.