Преобразование JSON в паркет и классификация объектов в папке - PullRequest
Новая
       17

Преобразование JSON в паркет и классификация объектов в папке

1 голос
/ 31 марта 2020

У меня 0 опыта со Снежинкой, поэтому, пожалуйста, потерпите меня. В настоящее время у нас есть система, в которой мы собираем данные гироскопа и акселерометра в виде JSON из iWatch, используя AWS Kinesis, хранящийся в корзине S3 (давайте назовем его корзиной A), затем мы используем AWS клей для преобразования этих JSON файлы в паркетные файлы и делить данные на основе соответствующих датчиков и хранить данные в 2 разных папках (папки акселерометра и гироскопа). Эти преобразованные данные хранятся в новом сегменте (назовем его сегментом B). Теперь можно ли сделать так, чтобы Snowflake делал то, что делает AWS Glue, а также хранит преобразованные и преобразованные данные в Snowflake (удаляя ведро B)? Спасибо

1 Ответ

0 голосов
/ 31 марта 2020

Чтобы получить полные ответы:

  • Да, Snowflake хранит данные.
  • Да, Snowflake преобразует данные в формат, аналогичный Parquet, однако в отличие от Parquet, вы может получить к нему доступ только с помощью Снежинки.
  • Да, Снежинка заменит ведро B.
  • Да, Задачи Снежинки или Снежинка могут заменить AWS Клей.

Взять взгляд на https://docs.snowflake.com/en/user-guide/data-load-s3.html

...