Я новичок в S3. У меня был следующий код, чтобы сохранить результат на S3. Но когда я подошел к консоли AWS, ведро пусто. В коде нет исключений. Есть идеи?
JavaRDD<String> uidRDD = resultJavaRDD.map(result -> result.getUID());
String bucketName = "testResultOnS3Bucket";
String today = "2020-03-21";
String key = bucketName + "/"+ today;
String path = "s3a://" + s3Config.getAccessKeyId()+":" + s3Config.getSecretKey()+"@" + key;
runUID.saveAsTextFile(path);
В одном я не уверен, что мой Секретный ключ для AWS оканчивается на "/". Это вызовет проблемы? Но с помощью accessKey и secretKey я могу использовать S3Client для создания файла в S3 в коде Java (не спарк-подпрограмма).
Другое дело, когда я использую обычный java вызов AWS S3client, мне нужно указать регион S3. Но в искре, я нигде не указал регион. Это возможная причина? Если это так, где я могу указать регион в коде?
Так в чем здесь проблема? Цени это.