Можем ли мы использовать команду EXPORT для копирования данных hadoop в aws S3?

Question

Я занимаюсь копированием данных Hadoop на S3.И изучил другой вариант. Я узнал, что мы можем использовать команду EXPORT для копирования файлов в другой кластер.Можем ли мы использовать команду Export таким же образом для копирования данных и метаданных в AWS S3?

Answer 1

STEP1 : создание корзины S3

STEP2 : Используйте утилиту distcp для копирования данных с вашей платформы hadoop в корзину S3, созданную в STEP1.

hadoop distcp hdfs://hdfs_host:hdfs_port/hdfs_path/hdfs_file.txt s3n://s3_aws_access_key_id:s3_aws_access_key_secret@my_bucketname/