В моем озере данных ежедневно создается 10 файлов с именем файла, подобным 0_2020_02_16_10_12_05.avro
, поскольку 2020_02_16 - это дата создания файла и постоянная для дня, но минуты и секунды не совпадают для всех файлов Я хотел бы заменить 2020_02_16 переменной в моем ежедневном пробеге. Я пробовал это, но это не работает
val pfdtm = ZonedDateTime.now(ZoneOffset.UTC)
val fileDate =DateTimeFormatter.ofPattern("yyyy_MM_dd").format(pfdtm)
Output:- fileDate=2020_02_16
val df=spark.read.format("com.databricks.spark.avro").load("adl://powerbi.azuredatalakestore.net/SD/eventhubspace/eventhub/0_${fileDate}_*_*_*.avro")
Любая помощь будет оценена. спасибо