Список объектов в AWS S3 через Scala / Spark - PullRequest
Новая
       14

Список объектов в AWS S3 через Scala / Spark

0 голосов
/ 22 мая 2018

Я пытаюсь получить список объектов в корзине aws s3, используя s3FileSystem. 

val exists = s3FS.exists(new org.apache.hadoop.fs.Path("s3n://bucketname/Daily/DailyCash.TXT"))
println(exists)
val sels=s3FS.listFiles(new org.apache.hadoop.fs.Path("s3n://bucketname//Daily"),true)
println(sels)

Получение ошибки ниже: 

Exception in thread "main" java.io.FileNotFoundException: File s3n://bucketname/ does not exist.
 at org.apache.hadoop.fs.s3.S3FileSystem.listStatus(S3FileSystem.java:194)
 at org.apache.hadoop.fs.FileSystem.listStatus(FileSystem.java:1482)
 at org.apache.hadoop.fs.FileSystem.listStatus(FileSystem.java:1522)
 at org.apache.hadoop.fs.FileSystem$4.<init>(FileSystem.java:1798)
 at org.apache.hadoop.fs.FileSystem.listLocatedStatus(FileSystem.java:1797)
 at org.apache.hadoop.fs.FileSystem.listLocatedStatus(FileSystem.java:1780)
 at org.apache.hadoop.fs.FileSystem$5.<init>(FileSystem.java:1842)
 at org.apache.hadoop.fs.FileSystem.listFiles(FileSystem.java:1839)

Любая помощь действительно приветствуется.

Спасибо ..

...