Получение DuplicateFileException (Записи могут привести к дублированию) при копировании данных между кластером hadoop с использованием distcp - PullRequest
Новая
       144

Получение DuplicateFileException (Записи могут привести к дублированию) при копировании данных между кластером hadoop с использованием distcp

0 голосов
/ 01 февраля 2019

Я копирую все файлы из одного кластера Hadoop в другой кластер Hadoop, используя distcp.С 1-й попытки скопированы все данные, но на 2-й стороне данных получено исключение DuplicateFileException (записи могут привести к дублированию).Для получения более подробной информации проверьте нижний стек.

Я пытался: 8020 / * hdfs: // XXXXXXXXX: 9000 / 

 ERROR tools.DistCp: Duplicate files in input path: 
org.apache.hadoop.tools.CopyListing$DuplicateFileException: File hdfs://192.168.1.22:8020/original/10000 Sales Records and hdfs://192.168.1.22:8020/sample/10000 Sales Records would cause duplicates. Aborting
    at org.apache.hadoop.tools.CopyListing.validateFinalListing(CopyListing.java:160)
    at org.apache.hadoop.tools.CopyListing.buildListing(CopyListing.java:91)
    at org.apache.hadoop.tools.GlobbedCopyListing.doBuildListing(GlobbedCopyListing.java:90)
    at org.apache.hadoop.tools.CopyListing.buildListing(CopyListing.java:84)
    at org.apache.hadoop.tools.DistCp.createInputFileListing(DistCp.java:382)
    at org.apache.hadoop.tools.DistCp.createAndSubmitJob(DistCp.java:181)
...