Может ли Snowflake импортировать метаданные сторонней ETL-платформы и интегрировать ее с собственной, чтобы показать сквозное происхождение? - PullRequest
Новая
       7

Может ли Snowflake импортировать метаданные сторонней ETL-платформы и интегрировать ее с собственной, чтобы показать сквозное происхождение?

0 голосов
/ 11 марта 2020

Я работаю с клиентом, который хочет импортировать метаданные в Snowflake, и я хочу знать, будет ли мой сторонний инструмент 1) работать 2) соответствовать стратегии данных существующей архитектуры.

Я собираю данные о пользователях, которые просматривают мой производственный рынок. Мой веб-сайт отслеживает сеансы, просмотры и корзины зарегистрированных и не авторизованных пользователей. Я использую Fivetran для импорта собираемой веб-информации (неструктурированной json) в мою существующую архитектуру. Эта информация архивируется через 30 дней и используется для отображения 30-дневной и квартальной сводки. Я хочу, чтобы эти метаданные реплицировались, сохранялись и преобразовывались в Снежинку через 30 дней. 

Data: 
{
  "Session id": "87461c424d2d0f29a6b0075d",
  "isActive": true,
  "email": "xx",
  "date": "",
  "cart": [“Item 1”, “Item 2 ],
  “Sale”: true
},{"Session id": "87461c424d2d0f29a6b0075d",
  "isActive": false,
  "email": "xx",
  "date": "",
  "cart": [ “Item 2” ],
  “Sale”: false
}

Чтобы соответствовать требованиям HIPAA и GDCP, я должен иметь возможность удалять или удалять информацию, могу ли я использовать метаданные Снежинки для сделать это так же, как в программном обеспечении, собирающем информацию о моих веб-сайтах. Могу ли я использовать хранимую процедуру для удаления информации, основанной на электронном письме, которое дает мне пользователь, и затем пересчитать все мои ранее рассчитанные итоги? Метаданные Снежинки сделают это для меня?

...