Hive: поиск последней даты в таблице улья с использованием разделов - PullRequest
0 голосов
/ 11 июня 2019

У меня есть большая таблица ульев с почти миллионом записей, разбитых по дате. Я хочу найти самую последнюю дату на основе последнего раздела, добавленного в таблицу кустов. Существует вероятность того, что в некоторые дни или недели записи могут отсутствовать. Поэтому я не могу использовать current_date или current_date - 1, чтобы найти последнюю дату. Я также попробовал max (ingest_date), но поиск даты занял почти 140 минут.

Вот пример раздела:

ingest_date=2019-6-10
ingest_date=2019-6-7
ingest_date=2019-6-6
ingest_date=2019-6-5
ingest_date=2019-6-4

Есть ли лучший способ найти самую последнюю дату в таблице кустов по разделам без использования функции MAX ()?

...