Время смещения сервера FireBase BigQuery - PullRequest
Новая
       9

Время смещения сервера FireBase BigQuery

0 голосов
/ 10 ноября 2018

Справочная информация: У меня есть данные аналитики Firebase, экспортированные в BigQuery.И я использую задания cron для обработки данных в BigQuery для получения информации.

Проблема: Чтобы иметь возможность обрабатывать только дельта-данные, то есть данные, полученные с момента последнего запуска моегоЗадание cron Мне нужен способ выяснить время поступления данных на сервер, поскольку event_timestamp генерируется на клиенте и может быть кэширован на клиенте перед отправкой.

Insights: Я работал с event_server_timestamp_offset (смещение), который, как я думал, я мог бы использовать вместе с event_timestamp .Но я ожидал, что смещение будет только положительным, но оно также может быть отрицательным.И когда я смотрю на MAX и MIN для смещения во всем экспортированном наборе аналитических данных Firebase и пересчитываю его в годы, а не в микросекунды, я могу получить смещение более 18 лет.

Запрос: 

SELECT
  MAX(event_server_timestamp_offset)/(1000000*60*60*24) max_days, 
  MIN(event_server_timestamp_offset)/(1000000*60*60*24) min_days
FROM
  `analytics_<project_id>.events_*`

Результат: max_days = 6784.485790436655, min_days = -106.95833052104166

Вопрос:

  • Как я могу выяснитьвремя прибытия сервера для моих экспортированных Firebase данных BigQuery, чтобы я мог запускать задания cron, обрабатывая только дельта-данные?
  • Можно ли использовать event_server_timestamp_offset вместе с event_timestamp ?Если да, то как?

С уважением, Даниэль

...