Скользящая средняя за последние 30 дней - PullRequest
Новая
       6

Скользящая средняя за последние 30 дней

0 голосов
/ 07 июня 2018

Я хочу узнать количество уникальных пользователей, активных за последние 30 дней.Я хочу рассчитать это на сегодня, но также и на дни в прошлом.Набор данных содержит идентификаторы пользователей, даты и события, инициированные пользователем, сохраненные в BigQuery.Пользователь активен, открыв мобильное приложение, вызывающее событие session_start.Пример неопубликованного набора данных. 

| resettable_device_id |     date    |    event      |
------------------------------------------------------
|         xx           |  2017-06-09 | session_start |
|         yy           |  2017-06-09 | session_start |
|         xx           |  2017-06-11 | session_start |
|         zz           |  2017-06-11 | session_start |

Я нашел решение, которое подходит для моей проблемы: BigQuery: как группировать и считать строки в окне скользящей отметки времени?

MyСкрипт BigQuery на данный момент: 

#standardSQL
WITH daily_aggregation AS (
  SELECT 
    PARSE_DATE("%Y%m%d", event_dim.date) AS day,
    COUNT(DISTINCT user_dim.device_info.resettable_device_id) AS unique_resettable_device_ids
  FROM `ANDROID.app_events_*`,
    UNNEST(event_dim) AS event_dim
  WHERE event_dim.name = "session_start"
  GROUP BY day
)
SELECT 
  day, 
  unique_resettable_device_ids, 
  SUM(unique_resettable_device_ids) 
  OVER(ORDER BY UNIX_SECONDS(TIMESTAMP(day)) DESC ROWS BETWEEN 2592000 PRECEDING AND CURRENT ROW) AS unique_ids_rolling_30_days
FROM daily_aggregation
ORDER BY day

Этот скрипт приводит к следующей таблице: 

|      day   | unique_resettable_device_ids | unique_ids_rolling_30_days |
------------------------------------------------------------------------
| 2018-06-05 |            1807              |            2614            |
| 2018-06-06 |             711              |             807            |
| 2018-06-07 |              96              |              96            |

Проблема заключается в том, что столбец unique_ids_rolling_30_days - это просто накопительная сумма столбца unique_resettable_device_ids.Как я могу исправить функцию скользящего окна в моем скрипте?

Ответы [ 2 ]

0 голосов
/ 14 июня 2018

Рабочее решение для еженедельного подсчета количества активных пользователей за последние 30 дней. 

#standardSQL
WITH days AS (
  SELECT day 
  FROM UNNEST(GENERATE_DATE_ARRAY('2018-01-01', CURRENT_DATE(), INTERVAL 1 WEEK)) AS day
), periods AS (
SELECT 
  DATE_SUB(days.day, INTERVAL 30 DAY) AS StartDate,
  days.day AS EndDate FROM days
)
SELECT
  periods.EndDate AS Day,
  COUNT(DISTINCT user_dim.device_info.resettable_device_id) as resettable_device_ids
FROM `ANDROID.app_events_*`,
  UNNEST(event_dim) AS event_dim
CROSS JOIN periods
WHERE
  PARSE_DATE("%Y%m%d", event_dim.date) BETWEEN periods.StartDate AND periods.EndDate
  AND event_dim.name = "session_start"
GROUP BY Day
ORDER BY Day DESC
0 голосов
/ 07 июня 2018

"Проблема в том, что столбец unique_ids_rolling_30_days - это просто совокупная сумма столбца unique_resettable_device_ids."

Конечно, поскольку это именно то, что код

SUM(unique_resettable_device_ids) OVER(ORDER BY UNIX_SECONDS(TIMESTAMP(day)) DESC ROWS BETWEEN 2592000 PRECEDING AND CURRENT ROW) AS unique_ids_rolling_30_days

запрашивает.

Проверьте https://stackoverflow.com/a/49866033/132438, где задается вопрос о конкретном подсчете уникальных чисел в скользящем окне: выясняется, что это очень медленная операция, учитывая, сколько памяти ей требуется.

Решение для этого, когда вам нужен скользящий счет уникальных значений: переходите к приблизительным результатам.

Из связанного ответа: 

#standardSQL
SELECT DATE_SUB(date, INTERVAL i DAY) date_grp
 , HLL_COUNT.MERGE(sketch) unique_90_day_users
 , HLL_COUNT.MERGE(DISTINCT IF(i<31,sketch,null)) unique_30_day_users
 , HLL_COUNT.MERGE(DISTINCT IF(i<8,sketch,null)) unique_7_day_users
 , COUNT(*) window_days
FROM (
  SELECT DATE(creation_date) date, HLL_COUNT.INIT(owner_user_id) sketch
  FROM `bigquery-public-data.stackoverflow.posts_questions` 
  WHERE EXTRACT(YEAR FROM creation_date)=2017
  GROUP BY 1
), UNNEST(GENERATE_ARRAY(1, 90)) i
GROUP BY 1
HAVING window_days=90
ORDER BY date_grp
...