Миграция кластеров Hadoop из Big Insights в Cloudera

Question

Каковы наилучшие подходы для переноса кластеров размером 1 ТБ из Big Insights в Cloudera.

Cloudera - это кластер с поддержкой Kerbor.

Текущий подход, которым мы следуем, заключается в использовании пакетов:а.Возьмите кластер и переместите его в файловую систему Unix
b.SCP к файловой системе Cloudera
c.Дамп из файловой системы Cloudera в HDFS Cloudera

Это не эффективный подход

Answer 1

Distcp работает с кластером с керберизацией

Однако неясно, действительно ли у вас 333 ГБ x3 реплик = 1 ТБ или фактически 1 ТБ необработанных данных.

В любом случае, вы болееВы можете приобрести внешний диск емкостью 4 ТБ (или более) и copyToLocal каждый файл в кластере, а затем загрузить его куда-либо еще.