Не удалось получить доступ к s3 из экземпляра ec2 с помощью команды had oop fs -ls s3a: // bucketname - PullRequest
Новая
       139

Не удалось получить доступ к s3 из экземпляра ec2 с помощью команды had oop fs -ls s3a: // bucketname

0 голосов
/ 24 апреля 2020

Я установил oop в псевдо-распределенном режиме на одном экземпляре ec2. У меня есть hdfs и пряжа работает. Я назначил роль s3fullaccess моему экземпляру ec2 и смог получить доступ к s3 с помощью команды «aws s3 ls» из экземпляра. Я указал свой доступ, секретный ключ и конечную точку s3 в файле core-site. xml. Я хочу выполнить менее 2 операций, и в обоих случаях я получаю похожие исключения.

  1. Я хочу получить доступ к s3, используя "Had oop fs -ls s3: //" синтаксис. Но при этом я получаю следующую ошибку:

    [ec2-user@ip-172-31-32-98 hadoop] $ had oop fs -ls s3a: // rprakashb1 / -ls: фатальная внутренняя ошибка com.amazon aws. services.s3.model.AmazonS3Exception: код состояния: 400, AWS Сервис: Amazon S3, AWS Идентификатор запроса: 534FB9EFD4258AED, AWS Код ошибки: ноль, AWS Сообщение об ошибке: неверный запрос, S3 расширенный идентификатор запроса : UNgDNpEzqaqoAct1Qy / SL / O7VkCYWuFFjgXVqqNrwfW9IECNfFV2GOumb3izPEtdaf + 8tlS7qHg = на com.amazon aws .http.AmazonHttpClient.handleErrorResponse (AmazonHttpClient java:. 798). в com.amazon * * .http.AmazonHttpClient.executeHelper тысяча тридцать один (AmazonHttpClient java : 421) в com.amazon aws .http.AmazonHttpClient.execute (AmazonHttpClient. java: 232) в com.amazon aws .services.s3.AmazonS3Client.invoke (AmazonS3Client. java: 3528)

  2. Я пробовал distcp между hdfs и s3, используя "had oop distcp hdfs: // path / to / file s3a: // bucket /", и я получаю исключение, как показано ниже.

20/04/24 13:58:42 ОШИБКА tools.DistCp: In допустимые аргументы: com.amazon aws .services.s3.model.AmazonS3Exception: код состояния: 400, AWS Служба: Amazon S3, AWS Код запроса: 97DC19225BA431D1, AWS Код ошибки: ноль, AWS Сообщение об ошибке: неправильный запрос, расширенный идентификатор запроса S3: GKWk8Q / 0QX4NJDmiyJQeMnLwo32BlaXZX0Q / KTGmGk4BNzQwdEe / pXFVbe8WXv + bo1Brtzz6FIM = в com.amazon aws 101 * * * * * * * * * * *. дайте мне знать, как это исправить. Перепробовал так много всего и искал по inte rnet исправление, но у меня ничего не получилось. Пожалуйста, помогите мне исправить это.

...