BigQuery Google Analytics Управление временем обработки экспорта

Question

У нашей компании есть много отчетов по расписанию в BigQuery, которые генерируют таблицы агрегации данных Google Analytics. Поскольку мы не можем контролировать, когда данные Google Analytics импортируются в нашу среду BigQuery, у нас остаются дни без данных.

Это означает, что мы должны вручную запустить данные для пропущенных дней.

Я отредактировал свой запрос расписания, чтобы отодвинуть время дня, когда запланированный запрос выполняется, однако теперь он выполняется около 8:00. Эти запросы предназначены для отчетов заинтересованных сторон, и заинтересованные стороны запрашивают их раньше. Есть ли способ обеспечить экспорт Google Analytics во время обработки BigQuery?

Вы также можете подумать о решении по расписанию, которое будет запущено позже, если запрошенная таблица еще не доступна.

Answer 1

В настоящее время вы не можете добавить условный триггер к запланированному запросу BigQuery.

Вы можете вручную добавить отказоустойчивый запрос в свой запрос, чтобы проверить таблицу со вчерашнего дня, используя комбинацию кода ниже и DATE_SUB(CURRENT_DATE(), INTERVAL 1 DAY):

 SELECT
 MAX(FORMAT_TIMESTAMP('%F %T', TIMESTAMP(PARSE_DATE('%Y%m%d',
 REGEXP_EXTRACT(_TABLE_SUFFIX,r'^\d\d\d\d\d\d\d\d')))  ))
 FROM `DATASET.ga_sessions_*`  AS ga_sessions

Очевидно, что это потерпит неудачу, если условия не будут выполнены, и не повторится, что, как я понимаю, не является улучшением вашей текущей настройки.

Я сталкивался с этим много раз в прошлом, и в конечном итоге мне пришлось перенести мои конвейеры данных в другое решение, поскольку запланированные запросы все еще довольно упрощены.

Я бы порекомендовал вам взглянуть на CRMint для простых конвейеров в BigQuery: https://github.com/google/crmint

Если вы все еще находите это слишком упрощенным, вам следует взглянуть на Google Cloud Composer , где вы можете проверить, существует ли таблица перед выполнением определенного задания в конвейере: