Вставка данных Google Analytics в S3 или Redshift - PullRequest
0 голосов
/ 27 февраля 2019

Я ищу варианты ввода данных Google Analytics (в том числе исторических) в Redshift.Любые предложения, касающиеся инструментов, API приветствуются.Я искал в Интернете и обнаружил, что Stitch является одним из инструментов ETL, помогите мне лучше узнать об этой опции и других опциях, если у вас есть.

Ответы [ 2 ]

0 голосов
/ 18 июня 2019

scitylana.com имеет сервис, который может доставлять бесплатные данные Google Analytics на S3.Вы можете получить 3 года и более.

Добыча осуществляется через API.Схема соответствует уровню и имеет более 100 измерений / метрик.В зависимости от количества данных, по вашему мнению, это можно сделать и с GA360.

0 голосов
/ 28 февраля 2019

В Google Analytics есть API ( Базовый API отчетности ).Это хорошо для получения случайных KPI, но из-за ограничений API не подходит для экспорта больших объемов исторических данных.

Для больших дампов данных лучше использовать Link to BigQuery ("Link", потому что я хочучтобы избежать слова «интеграция», которое подразумевает более высокий уровень контроля, чем у вас есть на самом деле).

Настроить ссылку на BigQuery довольно просто - вы создаете проект в Google Cloud Console , включите выставление счетов (BigQuery поставляется с платой, она не является частью договора GA360), добавьте свой адрес электронной почты в качестве владельца BigQuery в разделе «IAM & Admin», перейдите в свою учетную запись GA и введите идентификатор проекта BigQuery в разделе «Администратор GA»., «Настройки свойств / Ссылка на продукт / Все продукты / BigQuery Link».Процесс описан здесь: https://support.google.com/analytics/answer/3416092

Вы можете выбрать между стандартными обновлениями и обновлением потоковой передачи - последнее поставляется за дополнительную плату, но дает вам данные почти в реальном времени.Первый обновляет данные в BigQuery три раза в день каждые восемь часов.

Экспортированные данные не являются необработанными данными, они уже сессионные (т. Е. Вы получите по одной строке на каждое попадание, например, атрибуция трафика для этого попадания будет зависеть от сеанса).платить три разных вида сборов - один для экспорта в BigQuery, один для хранения и один для фактических запросов.Ценообразование здесь задокументировано: https://cloud.google.com/bigquery/pricing.

Ценообразование зависит, в частности, от региона.Регион, в котором хранятся данные, также может быть важен, когда речь идет о юридических вопросах - например, если вы должны соблюдать GDPR, ваши данные должны храниться в ЕС.Убедитесь, что вы правильно выбрали регион, потому что перемещение данных между регионами громоздко (вам нужно экспортировать таблицы в хранилище Google Cloud и повторно импортировать их в нужный регион) и довольно дорого.

Вы не можете просто удалить данные и выполнить новый экспорт - при первом экспорте BigQuery будет заполнять данные за последние 13 месяцев, однако это будет происходить только один раз для каждого просмотра.Поэтому, если вам нужны исторические данные, лучше поймите это правильно, потому что, если вы удалите данные в BQ, вы не получите их обратно.

На самом деле я не знаю много о Redshift, но согласно вашему комментарию вы хотитеотображать данные в Tableau, и Tableau напрямую подключается к BigQuery.

Мы используем пользовательские SQL-запросы для передачи данных в Таблицу (данные Google Analytics хранятся в ежедневных таблицах, а пользовательский SQL представляется наиболее простым способом запроса данных по многим таблицам).BigQuery имеет пользовательский кэш, который длится 24 часа, пока запрос не изменяется, поэтому вы не будете платить за запрос каждый раз, когда открывается отчет.Это все еще хорошая идея, чтобы следить за затратами - стоимость основана не на размере результата, а на количестве данных, которые нужно искать, чтобы получить желаемый результат, поэтому, если вы запрашиваете в течение длительного периода времени и, возможно,сделать несколько объединений, один запрос может стоить десятки евро (умножить на количество пользователей, использующих запрос).

...