Я копирую данные между двумя кластерами HDFS на основе Hadoop 3.1.Из-за сетевых ограничений служба HTTPFS открывает исходный кластер через webshfs, а служба DistCP, работающая на целевом кластере, копирует данные из источника в локальную HDFS по протоколу hdfs.
При копированиипути, содержащие символы '=', например:
webhdfs:///data/year=2018/month=10/day=25/part=1/part-<something>.snappy.parquet
Я получаю:
ERROR org.apache.hadoop.tools.SimpleCopyListing:593 - FileNotFoundException exception in listStatus: File /data/year%3D2018 does not exist.
Запуск:
curl "http://httpfs:14000/webhdfs/v1/data/year%3D2018?op=liststatus"
Возвращает действительный результат.
Есть идеи?