Есть ли способ отключить обнаружение разделов?Я пытаюсь предотвратить автоматическое добавление столбцов в мой фрейм данных.
Например,
Если бы у меня была такая структура папок
/data/year=2018/table=foo/....
, я бы не сталхотите, чтобы год / таблица были столбцами в моем файле для чтения, если я прочитал данные
spark.read.orc("/data/*")
Это должно выглядеть примерно так:
col_1, col_2, ....
А не
col_1, col_2, ..., year, table