Hadoop distcp в ведро AWS s3

Question

Я пытаюсь использовать следующую команду для передачи файлов из hdfs в корзину aws s3.

Ниже приведен код

  hadoop distcp \
  -Dfs.s3a.access.key=AKIXXXXXXXX4C7GA \
  -Dfs.s3a.secret.key=N12XXXXXXXXary24OXPt \
  -Dfs.s3a.fast.upload=true \
  hdfs://qa/user/dev_test/KL/TEST.csv s3a://Cust- 
   import/dcp/ua.10456754/119XXXX079

Я получаю приведенную ниже ошибку тайм-аута.

18/11/14 00:47:45 ИНФОРМАЦИЯ http.AmazonHttpClient: невозможно выполнить HTTP-запрос: подключение к Cust-import.s3.amazonaws.com:44 тайм-аут com.cloudera.org.apache.http.conn.ConnectTimeoutException: Соединение с optimizely-import.s3.amazonaws.com:443 истекло в com.cloudera.org.apache.http.conn.ssl.SSLSocketFactory.connectSocket (SSLSocketFactory.java:416) на com.cloudera.com.amazonaws.http.conn.ssl.SdkTLSSocketFactory.connectSocket (SdkTLSSocketFactory.java:128) в com.cloudera.org.apache.http.impl.conn.DefaultClientConnectionOperator.openConnection (DefaultClientConnectionOperator.java:180) в com.cloudera.org.apache.http.impl.conn.ManagedClientConnectionImpl.open (ManagedClientConnectionImpl.java:294) на com.cloudera.org.apache.http.impl.client.DefaultRequestDirector.tryConnect (DefaultRequestDirector.java:643) в com.cloudera.org.apache.http.impl.client.DefaultRequestDirector.execute (DefaultRequestDirector.java:479) на com.cloudera.org.apache.http.impl.client.AbstractHttpClient.execute (AbstractHttpClient.java:906) на com.cloudera.org.apache.http.impl.client.AbstractHttpClient.execute (AbstractHttpClient.java:805) на com.cloudera.com.amazonaws.http.AmazonHttpClient.executeOneRequest (AmazonHttpClient.java:728) на com.cloudera.com.amazonaws.http.AmazonHttpClient.executeHelper (AmazonHttpClient.java:489) на com.cloudera.com.amazonaws.http.AmazonHttpClient.execute (AmazonHttpClient.java:310) на com.cloudera.com.amazonaws.services.s3.AmazonS3Client.invoke (AmazonS3Client.java:3785) на com.cloudera.com.amazonaws.services.s3.AmazonS3Client.headBucket (AmazonS3Client.java:1107) на com.cloudera.com.amazonaws.services.s3.AmazonS3Client.doesBucketExist (AmazonS3Client.java:1070) в org.apache.hadoop.fs.s3a.S3AFileSystem.verifyBucketExists (S3AFileSystem.java:312) в org.apache.hadoop.fs.s3a.S3AFileSystem.initialize (S3AFileSystem.java:260) в org.apache.hadoop.fs.FileSystem.createFileSystem (FileSystem.java:2815) в org.apache.hadoop.fs.FileSystem.access $ 200 (FileSystem.java:98) в org.apache.hadoop.fs.FileSystem $ Cache.getInternal (FileSystem.java:2852) в org.apache.hadoop.fs.FileSystem $ Cache.get (FileSystem.java:2834) в org.apache.hadoop.fs.FileSystem.get (FileSystem.java:387) в org.apache.hadoop.fs.Path.getFileSystem (Path.java:296) в org.apache.hadoop.tools.DistCp.setTargetPathExists (DistCp.java:205) в org.apache.hadoop.tools.DistCp.run (DistCp.java:131) в org.apache.hadoop.util.ToolRunner.run (ToolRunner.java:70) в org.apache.hadoop.tools.DistCp.main (DistCp.java:441)