Чтение файлов в фрейм данных pyspark из каталогов и подкаталогов

Question

У меня есть ниже, чтобы прочитать все файлы в каталоге, но я тоже пытаюсь получить подкаталоги. Я не всегда буду знать, что такое подкаталоги и, следовательно, не могу явно определить его

Может кто-нибудь посоветовать мне, пожалуйста?

df = my_spark.read.format("csv").option("header", "true").load(yesterday+"/*.csv")

Answer 1

Используйте подстановочные знаки после местоположения каталога, в котором вы хотите прочитать все подкаталоги.

"path/*/*"

Answer 2

Благодаря Джоби

можете ли вы попробовать подать символы подстановки таким образом и увидеть "путь / / " - Джоби 23 часа назад