Как использовать файл jceks, хранящийся в hdfs, для подключения к очереди aws sqs и s3

Question

Я сохранил секретный ключ и ключ доступа в формате hdf в виде файла, который используется для доступа к AWS,

hadoop credential create fs.s3a.access.key -provider jceks://hdfs/user/dev/keys.jceks -value ****************

hadoop credential create fs.s3a.secret.key -provider jceks://hdfs/user/dev/keys.jceks -value **********

Я хочу использовать файл jceks для подключения к очереди SQS и S3 из кода Java,

Answer 1

Я мог бы решить эту проблему, используя приведенный ниже код: Java код:

Конфигурация hadoopConfiguration = sparkSession.sparkContext (). HadoopConfiguration ();log.info ("CredentialProviderFactory.CREDENTIAL_PROVIDER_PATH:" + hadoopConfiguration.get (CredentialProviderFactory.CREDENTIAL_PROVIDER_PATH));String accessKey = new String (hadoopConfiguration.getPassword ("fs.s3a.access.key"));String secretKey = новая строка (hadoopConfiguration.getPassword ("fs.s3a.secret.key"));

Scala Code:

val hadoopConfiguration = sparkSession.sparkContext.hadoopConfiguration hadoopConfiguration.set (CredentialProviderFactory.CREDENTIAL_PROVIDER_PATH, keyFileHdfsPath);val access_Key = hadoopConfiguration.getPassword ("fs.s3a.access.key"). mkString val secret_Key = hadoopConfiguration.getPassword ("fs.s3a.secret.key"). mkString