Можно ли вернуть данные Hadoop обратно из друида?

Question

Я ошибочно удалил данные из Hadoop.Эти данные у меня есть в Druid, теперь я хочу восстановить эти данные из Druid в Hadoop, чтобы избежать дальнейших проблем с восстановлением данных.

Answer 1

Использование Hive

Создайте внешнюю таблицу кустов, опирающуюся на существующий источник данных, это даст вам все данные в кусте в расположении HDFS.

CREATE EXTERNAL TABLE druid_table_1
STORED BY 'org.apache.hadoop.hive.druid.DruidStorageHandler'
TBLPROPERTIES ("druid.datasource" = "<datasource_name>");

Вы также можете указать свойство STORED AS для этого DDL, если хотите сохранить его в каком-либо определенном формате.

Более подробную информацию о слиянии Друида-Улья можно найти здесь: https://cwiki.apache.org/confluence/display/Hive/Druid+Integration

Использование дампа сегмента

Если вы хотите сделать дамп метаданных / данных сегмента, тогда утилита дампа сегмента может быть полезна здесь.

java org.apache.druid.cli.Main tools dump-segment \
--directory /home/druid/path/to/segment/ \
--out /home/druid/output.txt

Более подробную информацию можно найти здесь: http://druid.io/docs/latest/operations/dump-segment.html

Этот второй подход работает для одного сегмента, поэтому в случае, когда вы хотите выгрузить всю таблицу или несколько сегментов, вам нужно написать небольшой скрипт для рекурсивного выполнения этой команды в этом каталоге.

Answer 2

Так как у вас может быть подобное хранилище метастазов, попробуйте создать ctas в данных улья, извлекающих данные из друида, и сохранить их в местоположении Hadoop.