Я пытаюсь использовать S3 в качестве глубокого хранилища моего друида и использую в командной строке индексатор oop, используя следующую команду:
cd /opt/apache-druid-0.17.0; java -Xmx512m
-Daws.region=us-east-1
-Ddruid.storage.bucket=TEST_BUCKET
-Ddruid.storage.baseKey=druid_indexed_data
-Ddruid.storage.useS3aSchema=True
-Ddruid.s3.accessKey=ACCESS_KEY
-Ddruid.s3.secretKey=SECRET_KEY
-Ddruid.storage.storageDirectory=s3a://TEST_BUCKET/druid_indexed_data -Ddruid.storage.type=hdfs
-Dfile.encoding=UTF-8
-classpath extensions/druid-parquet-extensions/*:extensions/druid-avro-extensions:extensions/druid-hdfs-storage:extensions/druid-s3-storage:lib/*:/opt/apache-druid-0.17.0/conf/druid/single-server/micro-quickstart/_common:/opt/hadoop-2.8.5/bin:/opt/hadoop-2.8.5/share/hadoop/tools/lib/*
org.apache.druid.cli.Main index hadoop /path/to/specfile
И получаю следующее исключение:
Caused by: java.io.InterruptedIOException: doesBucketExist on TEST_BUCKET: com.amazonaws.AmazonClientException: No AWS Credentials provided by BasicAWSCredentialsProvider EnvironmentVariableCredentialsProvider SharedInstanceProfileCredentialsProvider : com.amazonaws.SdkClientException: Unable to load credentials from service endpoint
Я пытаюсь избежать изменения файла common.runtime.properties, так как я буду использовать разные сегменты для разных источников данных, поэтому я не могу жестко закодировать конфигурации, и поэтому я использую:
- -Ddruid.s3. accessKey = ACCESS_KEY
- -Ddruid.s3.secretKey = SECRET_KEY
Я также попытался изменить эти переменные на druid.s3.access.key и druid.s3.secret.key, что не помогло вообще. Есть идеи, как этого достичь?