Hive многоуровневый раздел, вставка перезаписи не удаляет внутренний раздел - PullRequest
0 голосов
/ 21 декабря 2018

У меня есть таблица кустов, которая имеет 3 уровня разделов, подобных этому

день / "$ категория" / час

Это внешняя таблица с файлами, хранящимися в AWS s3.

Вот моя проблема.Вставка выполняется с использованием динамических разделов.Допустим, после вставки для определенного дня (раздел уровня 1) второй уровень раздела выглядит следующим образом.

day = "$ date" / category = a

day = "$date "/ category = b

day =" $ date "/ category = c

Однако, если это так, то это ошибка, что второй уровень раздела должен иметь категории 'a', 'b' и 'd'.Поэтому я решил перезаписать весь раздел верхнего уровня.После перезаписи структура каталогов таблицы выглядит следующим образом:

day = "$ date" / category = a

day = "$ date" / category = b

day ="$ date" / category = c

day = "$ date" / category = d

Как видите, раздел для категории = 'd' создан, но раздел для категории =«с» все еще там.В идеале я хочу, чтобы это было удалено, так как это ошибка.

Любые предложения о том, как это сделать.

Спасибо!

...