Java Spark постоянных данных на S3. Ошибка не выдана, но в консоли S3 не создано ни одного файла - PullRequest
0 голосов
/ 22 марта 2020

Я новичок в S3. У меня был следующий код, чтобы сохранить результат на S3. Но когда я подошел к консоли AWS, ведро пусто. В коде нет исключений. Есть идеи?

        JavaRDD<String> uidRDD = resultJavaRDD.map(result -> result.getUID());
        String bucketName = "testResultOnS3Bucket";
        String today = "2020-03-21";
        String key = bucketName + "/"+ today;
        String path = "s3a://" + s3Config.getAccessKeyId()+":" + s3Config.getSecretKey()+"@" + key;
        runUID.saveAsTextFile(path);

В одном я не уверен, что мой Секретный ключ для AWS оканчивается на "/". Это вызовет проблемы? Но с помощью accessKey и secretKey я могу использовать S3Client для создания файла в S3 в коде Java (не спарк-подпрограмма).

Другое дело, когда я использую обычный java вызов AWS S3client, мне нужно указать регион S3. Но в искре, я нигде не указал регион. Это возможная причина? Если это так, где я могу указать регион в коде?

Так в чем здесь проблема? Цени это.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...