У нас есть объекты (данные) в UDL Azure Factory,
Иерархия этого каталога выглядит так:
UDL> Внутренний> От объекта1 до Объекта N> Приземлился> ГГГГ (2019)> ММ (01)> ДД (01, 02, 03, 04)> Файл
Год, Месяцы, дата могут быть кратны, так как при каждом обновлении файла Azure создает другой каталог с текущей датой.
Внутри UDL находится несколько объектов.
Итак, я хочу получать последние все пути для файлов, которые принадлежат всем объектам в UDL каждый раз, когда я запускаю задание Spark.
Любой фрагмент или подсказка будет принята с благодарностью.
Заранее спасибо.