Как экспортировать данные в cdv из GemFire - PullRequest
0 голосов
/ 18 апреля 2019

Я пытаюсь построить процесс ETL, который извлекает данные в GemFire ​​и загружает их в Teradata. Однако я не могу найти хороший механизм для экспорта данных. Единственная вещь, которую я нашел до сих пор, это api rest, который получает все записи из региона. Однако хорошо ли это для массового экспорта? Он вернет данные обратно в json, которые должны быть проанализированы перед загрузкой в ​​таблицу, что, я полагаю, не будет очень производительным для большого объема данных. Есть ли другое решение для этого? Как экспортировать данные как CSV из GemFire? Или ODBC / JDBC соединение с GemFire? Я нашел и массовый экспорт, и ODBC / JDBC в документации Gemfire XD, но не в основной GemFire? Так они не поддерживаются в ядре GemFire? В чем разница между ядром GemFire ​​и версией XD?

1 Ответ

0 голосов
/ 18 апреля 2019

Это два разных продукта, разработанные с учетом различных факторов. GemFire ​​XD предоставляет интерфейс SQL с малой задержкой для данных таблицы в памяти, поэтому он обычно используется в качестве СУБД в памяти. GemFire, с другой стороны, является сеткой данных в памяти, в которой «нет ограничений» в отношении данных, которые вы вставляете в регионы, вы в основном имеете дело с пользовательскими объектами Java, а не с таблицами. Кроме того, я знаю, что GemFire ​​XD был построен поверх GemFire ​​в прошлом, но я не уверен, каково его текущее состояние (вы можете посмотреть Snappy Data для получения более подробной информации).

При этом, строго говоря, о GemFire, вы можете экспортировать снимки ваших регионов и затем импортировать их в другой кластер. Более того, вы можете прочитать запись снимка за записью для дальнейшей обработки или преобразования в другие форматы, что, я считаю, именно то, что вы ищете. Пожалуйста, посмотрите Кэш и Снимки регионов , чтобы получить подробности.

Надеюсь, это поможет. Приветствия.

...