Я ищу решение несколько необычной проблемы - обычно я хочу добиться, чтобы разделы таблицы Hive были сопоставлены с уже существующими определенными папками, а не следует переименовывать в , чтобы соответствовать стандартномуСоглашение об именах разделов кустов.
Структура папок, которая у меня есть, следующая:
<some path>/Daily/database/<partition subfolders by day>
<some path>/Weekly/database/<partition subfolders by day>
<some path>/Lifetime/database/<partition subfolders by day>
Мне бы хотелось, чтобы папки Period (Daily и т. Д.) Также рассматривались как разделы.
Теперь есть две проблемы:
- подпапка базы данных между потенциальными подкаталогами разделов
- Папки периодов не должны следовать partition-имя = значение-раздела формат именования
Полагаю, что первое можно решить с помощью ужасного костыля: добавить фиктивный столбец со значением «база данных» во всех строках и разделить его.
Относительно последнего, хотя я не уверен, возможно ли это вообще, и из того, что я смог найти, это не так, по крайней мере разумным способом.Поэтому я ищу совет по этому поводу или, по крайней мере, подтверждение эксперта, что это невозможно:)
Если это помогает моей среде, это платформа Databricks, и файлы сохраняются в формате паркета.