Какой самый быстрый способ загрузки огромных данных (100 ГБ) в базу данных vertica? - PullRequest
0 голосов
/ 30 сентября 2019

«Какой самый быстрый способ загрузки данных в базу данных vertica? Если у меня есть 100 ГБ данных, которые необходимо быстро и эффективно разместить в таблице vertica.»

1 Ответ

1 голос
/ 30 сентября 2019

Я бы сказал, что самой быстрой из всех является стандартная команда COPY: COPY myschema.mytable FROM '/data/common/mytable.csv' ON ANY NODE Плюс любые другие необходимые параметры для разделителя столбцов, кодировщика строк, обработки ошибок и т. Д.

И, /data/common, здесь,это будет расположение файла, монтируемого по NFS в один и тот же каталог на всех узлах Vertica.

Если /data/common/mytable.csv не распакован, вы также допускаете пропорциональную загрузку : если у вас естьНапример, 8 потоков анализа, каждый из которых будет занимать 1/8 всего объема файла (переход к ближайшей новой строке или другому разделителю записи) и просто анализировать эту часть, все параллельно.

Я не могу представить более быстрый путь - надеюсь, это поможет.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...