Можно ли объединить две разные утилиты базы данных, такие как быстрый экспорт Teradata, в GPloader Greenplum? - PullRequest
Новая
       29

Можно ли объединить две разные утилиты базы данных, такие как быстрый экспорт Teradata, в GPloader Greenplum?

0 голосов
/ 09 февраля 2019

Обычно я использую соединение JDBC с каким-то инструментом ETL для перемещения данных из одной базы данных (например, Teradata) в другую базу данных (например, Greenplum).

Однако обе эти базы данных поставляются со встроенными утилитами, которые могутзагружать / экспортировать огромные объемы данных очень быстро, намного быстрее, чем JDBC !.Но, насколько мне известно, недостатком является то, что он может делать это только из файла или из него.

Так что, если я хочу их использовать, я должен следовать процессу, подобному-

Teradata --- (быстрый экспорт) ---> Файл --- (Gploader) ---> Greenplum

Мне интересно, можно ли пропустить часть файла и объединить две утилиты.

Teradata --- (FastExport & Gploader) -> Greenplum.

Таким образом, я могу очень быстро передавать огромные объемы данных!

1 Ответ

0 голосов
/ 11 февраля 2019

Да, вы, безусловно, можете.Greenplum поддерживает все виды внешних таблиц.Одним из решений является использование внешней таблицы, которая выполняет команду.Эта команда может быть Java-программой, которая подключается к Teradata для получения данных и использует опцию FastExport.

Я написал инструмент "gplink", чтобы сделать именно это.Он автоматизирует создание внешних таблиц Greenplum для источников JDBC.

Github: https://github.com/pivotalguru/gplink

Пример подключения к Teradata: https://github.com/pivotalguru/gplink/blob/master/connections/teradata.properties

И мой блог: http://www.pivotalguru.com/?page_id=982

...