Как вставить число в имя файла как переменную в кирпичах данных - PullRequest
0 голосов
/ 19 февраля 2020

В моем озере данных ежедневно создается 10 файлов с именем файла, подобным 0_2020_02_16_10_12_05.avro, поскольку 2020_02_16 - это дата создания файла и постоянная для дня, но минуты и секунды не совпадают для всех файлов Я хотел бы заменить 2020_02_16 переменной в моем ежедневном пробеге. Я пробовал это, но это не работает

val pfdtm = ZonedDateTime.now(ZoneOffset.UTC)   
val fileDate =DateTimeFormatter.ofPattern("yyyy_MM_dd").format(pfdtm)



 Output:- fileDate=2020_02_16

val df=spark.read.format("com.databricks.spark.avro").load("adl://powerbi.azuredatalakestore.net/SD/eventhubspace/eventhub/0_${fileDate}_*_*_*.avro")

Любая помощь будет оценена. спасибо

...