Писать в s3 из Hive не получается

Question

Я пытаюсь настроить кластер Hadoop для записи таблиц Hive в s3.

• Настройка соединителя s3
• Создание внешних таблиц на s3 работает нормально
• Обновлены ключи в core-site.xml
• Обновлено шифрование до AES256
• Локально на HDFS работает нормально.

Я получаю следующую ошибку от s3: (Это ошибка из одной строки, разбитая на возможность чтения)

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: 
Unable to determine if s3a://<MyBucket>/hive/warehouse/<My>.db/<MyTable> is encrypted: 
java.io.InterruptedIOException: doesBucketExist on <MyBucket>: 
com.amazonaws.AmazonClientException: 
No AWS Credentials provided by 
  BasicAWSCredentialsProvider
  EnvironmentVariableCredentialsProvider 
  SharedInstanceProfileCredentialsProvider : 
com.amazonaws.SdkClientException:
Unable to load credentials from service endpoint

Аналогичная проблема описана здесь

Answer 1

Похоже на хорошую тренировку, и хороший отдых - это решение:

Эта ссылка говорит о fs.s3a.aws.credentials.provider

If unspecified, then the default list of credential provider classes,
queried in sequence, is:
1. org.apache.hadoop.fs.s3a.BasicAWSCredentialsProvider: supports
    static configuration of AWS access key ID and secret access key.
    See also fs.s3a.access.key and fs.s3a.secret.key.

Проблема заключалась в том, что я указал ключи в hadoop conf /etc/hadoop/conf, а не в hive conf /etc/hive/conf.Перемещение по fs.s3a.access.key и fs.s3a.secret.key решило проблему.