Параллельная загрузка файлов / URI во внешнюю таблицу в greenplum - PullRequest
0 голосов
/ 05 июня 2018

Если я укажу несколько URI для LOCATION в CREATE EXTERNAL TABLE в базе данных greenplum, будут ли они загружать файлы параллельно?или нет никакой разницы в загрузке всего файла по сравнению с разделением файлов на несколько файлов и загрузкой вместо них?
Официальный документ

Ответы [ 2 ]

0 голосов
/ 27 июня 2018

Несколько экземпляров gpfdist будут загружать / выгружать данные в определенном месте параллельно.Вот реальное использование greenplum db

0 голосов
/ 05 июня 2018

Файлы загружаются в последовательности, по команде.Если вы укажете несколько файлов, например: gpfdist: // data / file_ *

Тогда все эти файлы будут загружены последовательно, одновременно всеми сегментами.загрузка путем разделения файлов на несколько экземпляров gpfdist.

например: gpfdist: // data / file_part_1 * gpfdist: // data / file_part_2 *

Пример видео см. https://youtu.be/QqzUhTgWPZg?t=4m48s

...