как использовать дату файла автоматически в scala? - PullRequest
Новая
       82

как использовать дату файла автоматически в scala?

0 голосов
/ 05 февраля 2020

Я читаю файл avro из Azure озера данных, используя блоки данных, и я использую этот путь для чтения файла текущей даты для ежедневного запуска, код для управления датой файла выглядит следующим образом и получает текущую дату в порядке. 

    val pfdtm = ZonedDateTime.now(ZoneOffset.UTC)   
        val fileDate =DateTimeFormatter.ofPattern("yyyy_MM_dd").format(pfdtm)

fileDate=2020-02-02

но когда я использую переменную fileDate в пути, она не работает, она поднимает путь, а ошибка не существует. Вы можете увидеть следующий путь 

val df=spark.read.format("com.databricks.spark.avro").load("adl://power.azuredatalakestore.net/SD_Case/eventhubspace/venthub/0_${fileDate}_*_*_*.avro")

, но когда я использую фактическую дату вместо переменной, она отлично работает 

val df=spark.read.format("com.databricks.spark.avro").load("adl://powerbiconnect.azuredatalakestore.net/SD_Case/sdeventhubspace/sdeventhub/0_2020_02_02_*_*_*.avro")

фактический путь к папке выглядит следующим образом, с примером ежедневный файл формы, день 2. 

adl://power.azuredatalakestore.net/SD_Case/eventhubspace/venthub/0_2020_02_02_10_11_15.avro

Буду признателен за любую помощь в исправлении моего кода. заранее спасибо

...