Я пытаюсь выполнить приведенную ниже команду distcp, однако она выдает исключение:
hadoop distcp date_load=201901* wasb://dev3-spark@clusterdev.blob.core.windows.net/luiz/producao/performance/performance_report
Выдается следующее исключение:
Я пытаюсь выполнитьНиже приведена команда distcp, однако она вызывает исключение:
hadoop distcp date_load = 201901 * wasb: //dev3-spark@clusterdev.blob.core.windows.net/luiz/producao/performance/performance_report
Выдается следующее исключение:
19/02/06 13:34:53 INFO impl.MetricsConfig: загруженные свойства из hadoop-metrics2.properties 19/02/06 13:34:53INFO impl.MetricsSystemImpl: Запланированный период моментального снимка при 10 секундах.19/02/06 13:34:53 INFO impl.MetricsSystemImpl: запущена система метрик azure-file-system 19/02/06 13:34:53 ОШИБКА tools.DistCp: Неверные аргументы: org.apache.hadoop.fs.azure.AzureException: org.apache.hadoop.fs.azure.AzureException: контейнер dev3-spark в учетной записи clusterdev.blob.core.windows.net не найден, и мы не можем создать его с использованием анонимных учетных данных.в org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.createAzureStorageSession (AzureNativeFileSystemStore.java:938) в org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.initialize.inj.jj.ash..azure.NativeAzureFileSystem.initialize (NativeAzureFileSystem.java:1048) в org.apache.hadoop.fs.FileSystem.createFileSystem (FileSystem.java:2693) в org.apache.hadoop.fs.FileSystem.access $ 300 (FileSystemj.98) в org.apache.hadoop.fs.FileSystem $ Cache.getInternal (FileSystem.java:2773) в org.apache.hadoop.fs.FileSystem $ Cache.get (FileSystem.java:2755) в org.apache.hadoop.fs.FileSystem.get (FileSystem.java:411) в org.apache.hadoop.fs.Path.getFileSystem (Path.java:309) в org.apache.hadoop.tools.DistCp.setTargetPathExists (DistCp.java:216).) в org.apache.hadoop.tools.DistCp.run (DistCp.java:116) в org.apache.hadoop.util.ToolRunner.run (ToolRunner.java:70) в org.apache.hadoop.tools.DistCp.main (DistCp.java:430) Причина: org.apache.hadoop.fs.azure.AzureException: контейнер dev3-spark в учетной записи clusterdev.blob.core.windows.net не найден, и мы не можем создать его с использованием анонимных учетных данных.по адресу org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.connectUsingAnonymousCredentials (AzureNativeFileSystemStore.java:730) по адресу org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.createAzureStorage.FileSignSignSignSignSignSignSignSize: ...org.apache.hadoop.fs.azure.AzureException: контейнер dev3-spark в учетной записи clusterdev.blob.core.windows.net не найден, и мы не можем создать его с использованием анонимных учетных данных.