Я пытаюсь записать таблицу временного представления в указанный c раздел в формате hdf, но интерпретатор говорит, что временная таблица имеет 3 столбца, а целевая таблица имеет 2 столбца. Факт состоит в том, что оба имеют 2 столбца, но интерпретатор говорит, что временная таблица также имеет разделенный столбец (в столбце, который я пытаюсь записать в раздел).
Разделенный столбец, который считается обычным столбцом. Я получаю сообщение об ошибке при попытке написать свою таблицу временного представления, и я не знаю, что делать и как это решить. Может кто-нибудь объяснить мне, почему это может произойти? Как заставить spark игнорировать разделенный столбец или обычный столбец? Как я могу решить это? Я хочу упомянуть также тот факт, что я не изменяю таблицу, я только пытаюсь взять существующую таблицу и записать ее фильтр в новый раздел по столбцу (по тому же пути к таблице в hdfs)
Я пользуюсь pyspark 2.4.5.