Как проверить, существует ли папка BLOB-объектов datetime или нет, используя Scala в Databricks - PullRequest
Новая
       13

Как проверить, существует ли папка BLOB-объектов datetime или нет, используя Scala в Databricks

0 голосов
/ 13 апреля 2020

Прежде чем читать данные из хранилища BLOB-объектов, я хотел бы проверить наличие определенной папки c datetime (гггг-мм-дд). Не могли бы вы помочь мне, как добиться этого в Scala коде для расположенного ниже хранилища BLOB-объектов? Спасибо. 

spark.conf.set("fs.azure.account.key.mystorageaccount.blob.core.windows.net","1234567890AASDFGHJKLzxcvbnmqweRTYUIO+_==")

val prev_day = ZonedDateTime.now(ZoneId.of("UTC")).minusDays(1)

val PD = formatter format prev_day

val folder_path_prevday = "wasbs://mycontainername@mystorageaccount.blob.core.windows.net/iotdata/logs/"+PD+"/*.json"

Когда такой папки нет, скрипт завершается ошибкой со следующей ошибкой 

org.apache.spark.sql.AnalysisException: Path does not exist: wasbs://mycontainername@mystorageaccount.blob.core.windows.net/iotdata/logs/2020-04-12/*.json;

Спасибо, Аллен

...