Невозможно перечислить файлы в корзине S3 с помощью API файловой системы hadoop - PullRequest
Новая
       22

Невозможно перечислить файлы в корзине S3 с помощью API файловой системы hadoop

0 голосов
/ 11 января 2019

вот интересный.

В S3 у меня есть две папки с файлами в нем. В Cloudberry была создана одна папка с именем folder_cloudberry Другая папка, созданная с помощью браузера S3, называется folder_s3browser

Когда я запускаю следующий код, я могу перечислить и получить доступ ко всем файлам в folder_cloudberry, но не к файлам в folder_s3browser.

Итак, я сделал это, чтобы проверить разрешения для обеих папок 

val s3FileSystem: FileSystem = FileSystem.get(new URI(sourceURI), spark.sparkContext.hadoopConfiguration)

val sourceURI_cloudberry = new URI(s"$sourceURI/folder_cloudberry/")
val sourceURI_s3browser = new URI(s"$sourceURI/folder_s3browser/")

println("Cloudberry:")
s3FileSystem.listStatus(new Path(sourceURI_cloudberry .getPath))(0)
println("\nS3Browser:")
s3FileSystem.listStatus(new Path(sourceURI_s3browser .getPath))(0)

вот вывод 

Cloudberry:
res223: org.apache.hadoop.fs.FileStatus = S3AFileStatus{path=s3a://.../folder_cloudberry; isDirectory=true; modification_time=0; access_time=0; owner=; group=; permission=rwxrwxrwx; isSymlink=false}

S3Browser:
res225: org.apache.hadoop.fs.FileStatus = S3AFileStatus{path=s3a://.../folder_s3browser; isDirectory=false; length=1; replication=1; blocksize=33554432; modification_time=1547136725000; access_time=0; owner=; group=; permission=rw-rw-rw-; isSymlink=false}

Обратите внимание на различия в isDirectory и разрешениях.

Обходным путем для этого является переименование folder_s3browser в Cloudberry, и оно будет доступно.

Учетные данные S3 одинаковы в браузере S3 и Cloudberry.

Это возможная конфигурация в браузере S3?

Спасибо.

...