Экспорт Google Analytics в BigQuery

Question

У меня есть сомнения по поводу экспорта данных из Google Analytics в BigQuery.
По сути, я настроил потоковый экспорт на стороне Google Analytics, чтобы в реальном времени экспортировать данные в BigQuery (таблица ga_realtime_sessions_YYYMMDD),Эта потоковая передача работает нормально.

В какой-то момент в конце дня данные из этого реального расписания экспортируются в ga_sessions_YYYYMMDD.

Мне нужно объяснить, как работает этот экспорт (из реального расписания в ga_sessions).

У меня есть несколько автоматических процессов, которые запускаются около 8 часов утра (часовой пояс Португалии), и в последние дни эти процессы завершаются сбоем из-за того, что ga_sessions для предыдущего дня еще не созданы.
Я проверил время, когда ga_sessions создаются для каждого дня, и это время очень изменчиво, и в некоторых случаях это около 2:00, 3:00, но в другом случае около 7:00, 8:00.Эта разница во времени может быть связана с размером данных, которые необходимо экспортировать из реального расписания в ga_sessions?

Answer 1

Экспорт ежедневных сессий в BigQuery действительно не завершается в одно и то же время каждый день.Это связано с полностью управляемым бэкэндом, который зависит от рабочих нагрузок по всему миру.

Я предлагаю создать прослушиватель событий при создании файла для ga_sessions_YYYYMMDD, чтобы только после его создания можно было безопасно запустить зависимыйпроцессы.

Например, вы можете экспортировать файл в хранилище Cloud Storage, а затем использовать триггер с Cloud Function .