У меня есть сценарий, и я хотел бы получить мнение эксперта по нему.
Мне нужно загрузить таблицу Hive в разделах из реляционной БД через spark (python).Я не могу создать таблицу кустов, так как я не уверен, сколько столбцов в источнике, и они могут измениться в будущем, поэтому я должен получить данные с помощью;select * from tablename.
Однако я уверен в столбце раздела и знаю, что он не изменится.Этот столбец имеет тип данных «date» в исходной базе данных.
Я использую SaveAsTable с параметрами partitionBy, и я могу правильно создавать папки в соответствии со столбцом раздела.Таблица кустов также создается.
Проблема, с которой я сталкиваюсь, заключается в том, что столбец раздела имеет тип данных "date" и не поддерживается в кусте для разделов.Из-за этого я не могу прочитать данные с помощью запросов улья или импалы, так как в нем говорится, что дата не поддерживается в качестве многораздельного столбца.
Обратите внимание, что во время ввода оператора select я не могу типизировать столбец какЯ должен сделать select * from tablename, а не select a,b,cast(c) as varchar from table.