Мои искры. Фреймы данных импортируются из файлов паркета в ADLS.Есть ли способ найти дату последнего изменения исходного паркета с помощью Spark Scala?
Файл _SUCCESS всегда записывается последним в данной папке раздела, поэтому поиск может быть ограничен этим файлом (также наличие _committed_* с более поздней датой, чем _SUCCESS или отсутствие _SUCCESS в каталоге разделов указывает на то, что данные в настоящее время перезаписываются или последняя попытка перезаписи не удалась)