Я пытаюсь перенести данные из исходного кластера hadoop в целевой кластер hadoop, используя distcp. Данные, которые есть у меня в источнике, находятся в зашифрованной зоне (/data/sit). Идея состоит в том, чтобы переместить данные из зашифрованной зоны исходного кластера в зашифрованную зону целевого кластера.
Я создал такой же путь (/data/sit) на целевом кластере и создал на нем зону шифрования. Ключи шифрования управляются Ranger KMS как на исходном, так и на целевом кластерах. Имя ключа KMS Ranger, которым был зашифрован исходный путь (/data/sit), sit_key. Я также создал ключ с тем же именем на цели (хотя это и не нужно для работы distcp).
Ниже приведена команда, которую я использовал для distcp:
hadoop distcp -Dmapreduce.job.queuename=${yarn_queue} -Dmapreduce.job.hdfs-servers.token-renewal.exclude=${dest} -skipcrccheck -prbugpc -update -delete "hdfs://${src}/data/sit" "hdfs://${dest}/data/sit"
когда я запускаю указанную выше команду, я получаю приведенную ниже ошибку для нескольких файлов:
19/06/13 03:16:47 INFO mapreduce.Job: Task Id : attempt_1560292609758_0035_m_000011_2, Status : FAILED
Error: java.io.IOException: File copy failed: hdfs://source/data/sit/hdp/datain/YYYY=2019/MM=06/DD=11/1720/ff461c1a-e7b4-4fe7-a421-f9be0bf5b6f2.metadata --> hdfs://target/data/sit/hdp/datain/YYYY=2019/MM=06/DD=11/1720/ff461c1a-e7b4-4fe7-a421-f9be0bf5b6f2.metadata
at org.apache.hadoop.tools.mapred.CopyMapper.copyFileWithRetry(CopyMapper.java:299)
at org.apache.hadoop.tools.mapred.CopyMapper.map(CopyMapper.java:266)
at org.apache.hadoop.tools.mapred.CopyMapper.map(CopyMapper.java:52)
at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:146)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:170)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1869)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:164)
Caused by: java.io.IOException: Couldn't run retriable-command: Copying hdfs://source/data/sit/hdp/datain/YYYY=2019/MM=06/DD=11/1720/ff461c1a-e7b4-4fe7-a421-f9be0bf5b6f2.metadata to hdfs://target/data/sit/hdp/datain/YYYY=2019/MM=06/DD=11/1720/ff461c1a-e7b4-4fe7-a421-f9be0bf5b6f2.metadata
at org.apache.hadoop.tools.util.RetriableCommand.execute(RetriableCommand.java:101)
at org.apache.hadoop.tools.mapred.CopyMapper.copyFileWithRetry(CopyMapper.java:296)
... 10 more
Caused by: java.lang.IllegalArgumentException: 'sit_key@1' not found
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
at org.apache.hadoop.util.HttpExceptionUtils.validateResponse(HttpExceptionUtils.java:157)
at org.apache.hadoop.crypto.key.kms.KMSClientProvider.call(KMSClientProvider.java:608)
at org.apache.hadoop.crypto.key.kms.KMSClientProvider.call(KMSClientProvider.java:566)
at org.apache.hadoop.crypto.key.kms.KMSClientProvider.decryptEncryptedKey(KMSClientProvider.java:834)
at org.apache.hadoop.crypto.key.kms.LoadBalancingKMSClientProvider$5.call(LoadBalancingKMSClientProvider.java:210)
at org.apache.hadoop.crypto.key.kms.LoadBalancingKMSClientProvider$5.call(LoadBalancingKMSClientProvider.java:206)
at org.apache.hadoop.crypto.key.kms.LoadBalancingKMSClientProvider.doOp(LoadBalancingKMSClientProvider.java:95)
at org.apache.hadoop.crypto.key.kms.LoadBalancingKMSClientProvider.decryptEncryptedKey(LoadBalancingKMSClientProvider.java:206)
at org.apache.hadoop.crypto.key.KeyProviderCryptoExtension.decryptEncryptedKey(KeyProviderCryptoExtension.java:388)
at org.apache.hadoop.hdfs.DFSClient.decryptEncryptedDataEncryptionKey(DFSClient.java:1393)
at org.apache.hadoop.hdfs.DFSClient.createWrappedInputStream(DFSClient.java:1463)
at org.apache.hadoop.hdfs.DistributedFileSystem$4.doCall(DistributedFileSystem.java:333)
at org.apache.hadoop.hdfs.DistributedFileSystem$4.doCall(DistributedFileSystem.java:327)
at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
at org.apache.hadoop.hdfs.DistributedFileSystem.open(DistributedFileSystem.java:340)
at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:786)
at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.getInputStream(RetriableFileCopyCommand.java:300)
at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.copyBytes(RetriableFileCopyCommand.java:249)
at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.copyToFile(RetriableFileCopyCommand.java:183)
at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.doCopy(RetriableFileCopyCommand.java:123)
at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.doExecute(RetriableFileCopyCommand.java:99)
at org.apache.hadoop.tools.util.RetriableCommand.execute(RetriableCommand.java:87)
... 11 more
Не уверен, что является причиной этого. Интересная часть - Caused by: java.lang.IllegalArgumentException: 'sit_key@1' not found. sit_key - это имя ключа, используемого для шифрования на исходном и целевом путях, но не уверен, что означает @1 в конце.
Также sit_key на источнике был перенесен на версию 2. Не уверен, что это вызывает проблему.
В итоге distcp завершился с ошибками такого рода для нескольких файлов, и из ~ 500 ГБ данных было скопировано только ~ 128 ГБ.
Любая помощь будет принята с благодарностью. Спасибо.