У меня есть файл партера, который записывается в S3 с использованием предложения partitionBy, и это создает много разделов в папке, что нормально.
Используемая мной команда - df.write.partitionBy («разделенный столбец»).parquet («путь к файлу»).
Это здорово, сейчас я читаю этот файл в кадре данных и описываю схему, я не вижу столбец раздела, хотя читаю с подстановочным знаком в папку, в которой есть все файлы с разделами.
Вопрос: Как я могу прочитать этот файл с моим разделенным столбцом в моем фрейме данных?