Быстрое создание озера данных Adobe Data Feed и анализа, а также хранилища данных в Azure - PullRequest
0 голосов
/ 24 октября 2018

мы пытаемся загрузить Adobe Data Feed в хранилище BLOB-объектов Azure и выполнить некоторый начальный анализ данных.Я пробовал с AWS, хотя это довольно медленно, S3 + Athena работает для этого, но я хотел бы знать, есть ли какой-нибудь альтернативный способ сделать тот же анализ в Microsoft Azure перед созданием хранилища данных.Azure требуется ...

  1. У кого-нибудь есть предложения?для анализа данных в хранилище BLOB-объектов Azure или если предпочтительнее использовать другую службу Azure

  2. Следующим шагом мы создадим хранилище данных с ETL.Мы также хотели бы ознакомиться с лучшими практиками.

Некоторая информация: я использую ежедневную доставку необработанных данных Adobe Data Feed в хранилище BLOB-объектов Azure.Каждый день добавляется новый файл zip или tar.gz (содержит .tsv).В течение 30 дней у меня будет 30 файлов.

Спасибо, Мартин

...