Импортируйте Google Analytics в Redshift - PullRequest
0 голосов
/ 08 ноября 2018

Я пытаюсь выяснить, как импортировать данные Google Analytics в AWS Redshift. До сих пор у меня была возможность настроить экспортное задание, чтобы данные поступали в Google BigQuery, а затем экспортировали таблицы в облачное хранилище Google.

BigQuery хранит данные особым образом, поэтому, когда вы экспортируете их в файл, вы получаете многоуровневую вложенную структуру JSON. Поэтому, чтобы импортировать его в Redshift, мне нужно было «разложить» этот JSON в таблицу или файл CSV.

Мне не удалось найти простое решение для этого.

Кто-нибудь знает, как я могу сделать это элегантно и эффективно, вместо того, чтобы писать длинную функцию, которая будет проходить через весь объект JSON?

Вот документация Google о том, как экспортировать данные https://cloud.google.com/bigquery/docs/exporting-data

1 Ответ

0 голосов
/ 08 ноября 2018

Вы можете попробовать следующее:

  1. Экспортировать ваши данные BigQuery как json в корзину S3
  2. Создать файл JSONPaths в соответствии со спецификацией
  3. Включите файл JSONPaths в команду COPY для импорта в Redshift

Вы также можете попробовать экспортировать таблицу BigQuery как AVRO (один изподдерживается формат файла экспорта в BigQuery) вместо json. Эта ссылка содержит пример того, как написать файл JSONPaths для вложенных объектов AVRO.

...