В hiveql, какой самый элегантный / эффективный способ вычисления среднего значения, если некоторые данные неявно отсутствуют?

Question

В Hiveql, каков самый элегантный и эффективный способ вычисления среднего значения, когда в данных есть «пропуски» с неявными повторяющимися значениями между ними? т.е. с учетом таблицы со следующими данными:

+----------+----------+----------+
| Employee |   Date   |  Balance |
+----------+----------+----------+
| John     | 20181029 |   1800.2 |
| John     | 20181105 |  2937.74 |
| John     | 20181106 |     3000 |
| John     | 20181110 |     1500 |
| John     | 20181119 |   -755.5 |
| John     | 20181120 |     -800 |
| John     | 20181121 |     1200 |
| John     | 20181122 |     -400 |
| John     | 20181123 |     -900 |
| John     | 20181202 |    -1300 |
+----------+----------+----------+

Если я попытаюсь вычислить простое среднее для строк ноября, оно вернется ~ 722,78, но среднее значение должно учитывать, что дни, которые не показаны, имеют тот же баланс, что и предыдущий регистр. Например, у Джона было 1800,2 между 20181101 и 20181104 гг.

Предполагая, что таблица всегда имеет ровно одну строку для каждой даты / баланса, и учитывая, что я не могу изменить способ хранения этих данных (и, вероятно, не должен этого делать, поскольку было бы бесполезно тратить память на запись строк для дней с неизменными балансами ), Я возился с получением среднего из выбора с подзапросами для всех дней в запрашиваемом месяце, возвращая NULL для отсутствующих дней, а затем использовал case, чтобы получить остаток от предыдущей доступной даты в обратном порядке. Все это только для того, чтобы избежать написания временных таблиц.

Answer 1

Шаг 1: Исходные данные

Первый шаг - воссоздать таблицу с исходными данными.Допустим, исходная таблица называется daily_employee_balance.

daily_employee_balance

use default;
drop table if exists daily_employee_balance;
create table if not exists daily_employee_balance (
    employee_id string,
    employee string,
    iso_date date,
    balance double
);

Вставка данных выборки в исходную таблицу daily_employee_balance

insert into table daily_employee_balance values 
('103','John','2018-10-25',1800.2),
('103','John','2018-10-29',1125.7),
('103','John','2018-11-05',2937.74),
('103','John','2018-11-06',3000),
('103','John','2018-11-10',1500),
('103','John','2018-11-19',-755.5),
('103','John','2018-11-20',-800),
('103','John','2018-11-21',1200),
('103','John','2018-11-22',-400),
('103','John','2018-11-23',-900),
('103','John','2018-12-02',-1300);

Шаг 2: Таблица измерений

Вам понадобится таблица измерений, в которой у вас будет календарь (таблица со всеми возможными датами), назовите его dimension_date,Это обычный отраслевой стандарт для таблицы календаря, вы, вероятно, можете загрузить этот пример данных через Интернет.

use default;
drop table if exists dimension_date;
create external table dimension_date(
    date_id                 int,
    iso_date                string,
    year                    string,
    month                   string,
    month_desc              string,
    end_of_month_flg        string
); 

Вставьте некоторые примеры данных за весь месяц ноября 2018 года:

insert into table dimension_date values
(6880,'2018-11-01','2018','2018-11','November','N'),
(6881,'2018-11-02','2018','2018-11','November','N'),
(6882,'2018-11-03','2018','2018-11','November','N'),
(6883,'2018-11-04','2018','2018-11','November','N'),
(6884,'2018-11-05','2018','2018-11','November','N'),
(6885,'2018-11-06','2018','2018-11','November','N'),
(6886,'2018-11-07','2018','2018-11','November','N'),
(6887,'2018-11-08','2018','2018-11','November','N'),
(6888,'2018-11-09','2018','2018-11','November','N'),
(6889,'2018-11-10','2018','2018-11','November','N'),
(6890,'2018-11-11','2018','2018-11','November','N'),
(6891,'2018-11-12','2018','2018-11','November','N'),
(6892,'2018-11-13','2018','2018-11','November','N'),
(6893,'2018-11-14','2018','2018-11','November','N'),
(6894,'2018-11-15','2018','2018-11','November','N'),
(6895,'2018-11-16','2018','2018-11','November','N'),
(6896,'2018-11-17','2018','2018-11','November','N'),
(6897,'2018-11-18','2018','2018-11','November','N'),
(6898,'2018-11-19','2018','2018-11','November','N'),
(6899,'2018-11-20','2018','2018-11','November','N'),
(6900,'2018-11-21','2018','2018-11','November','N'),
(6901,'2018-11-22','2018','2018-11','November','N'),
(6902,'2018-11-23','2018','2018-11','November','N'),
(6903,'2018-11-24','2018','2018-11','November','N'),
(6904,'2018-11-25','2018','2018-11','November','N'),
(6905,'2018-11-26','2018','2018-11','November','N'),
(6906,'2018-11-27','2018','2018-11','November','N'),
(6907,'2018-11-28','2018','2018-11','November','N'),
(6908,'2018-11-29','2018','2018-11','November','N'),
(6909,'2018-11-30','2018','2018-11','November','Y');

Шаг 3: Таблица фактов

Создание таблицы фактов из исходной таблицы.В обычной практике вы загружаете данные в hdfs / hive, затем обрабатываете необработанные данные и создаете таблицу с историческими данными, куда вы продолжаете вставлять в пошаговом порядке.Вы можете больше изучить хранилище данных, чтобы получить правильное определение, но я называю это таблицей фактов - f_employee_balance.

. Это позволит воссоздать исходную таблицу с отсутствующими датами и заполнить отсутствующий баланс ранее известным балансом..

--inner query to get all the possible dates
--outer self join query will populate the missing dates and balance 
drop table if exists f_employee_balance;
create table f_employee_balance 
stored as orc tblproperties ("orc.compress"="SNAPPY") as 
select q1.employee_id, q1.iso_date, 
nvl(last_value(r.balance, true) --initial dates to be populated with 0 balance
over (partition by q1.employee_id order by q1.iso_date rows between unbounded preceding and current row),0) as balance, 
month, year from ( 
  select distinct 
  r.employee_id,
  d.iso_date as iso_date, 
  d.month, d.year
from daily_employee_balance r, dimension_date d )q1 
  left outer join daily_employee_balance r on 
  (q1.employee_id = r.employee_id) and (q1.iso_date = r.iso_date);

Шаг 4: Аналитика

Приведенный ниже запрос даст вам истинное среднее значение за месяц:

select employee_id, monthly_avg, month, year from (
    select employee_id, 
           row_number() over (partition by employee_id,year,month) as row_num,
           avg(balance) over (partition by employee_id,year,month) as monthly_avg, month, year from
           f_employee_balance)q1 
    where row_num = 1
    order by year, month;

Шаг 5: Заключение

Вы можете просто объединить шаги 3 и 4 вместе;это избавит вас от создания дополнительной таблицы.Когда вы находитесь в мире больших данных, вы не беспокоитесь о том, чтобы тратить дополнительное дисковое пространство или время разработки.Вы можете легко добавить другой диск или узел и автоматизировать процесс, используя рабочие процессы.Для получения дополнительной информации ознакомьтесь с концепцией хранилища данных и аналитическими запросами улья.