Необходимость хранения BLOB-объектов Azure - PullRequest
0 голосов
/ 27 июня 2019

Может ли кто-нибудь помочь мне понять необходимость использования BLOB-объекта Azure или магазина Datalake.

Я просмотрел некоторые блоги в Microsoft, в которых говорилось, что нужно извлекать инкрементные данные из исходных систем в виде CSV-файлов и сохранять их в хранилище BLOB-объектов или хранилищ данных, а из хранилища BLOB-объектов / хранилищ данных следует отправлять на лазурную стадию DWH, а затем в Datamart.

Я запутался, зачем мне создавать csv и использовать BLOB-объект Azure. Поскольку мы можем напрямую извлекать инкрементные данные и загружать их в Azure DWH Stage.

1 Ответ

0 голосов
/ 27 июня 2019

Тебе не нужно делать ничего, чего ты не хочешь делать;).Трудно сказать точно, потому что вы не публиковали ссылки на блог, но в целом была тенденция (имеется в виду, что многие, но не обязательно все это делают) сначала помещать необработанные данные, подобные телеметрии, в дешевое хранилище, а затем «готовить»/ «вычистить» его в хранилище данных с более высокой стоимостью (что также может стоить дороже).Была также работа с моделью хранилища gen2 в SQL DW, чтобы улучшить цену хранения данных (где она хранит вещи, сжатые в хранилище больших двоичных объектов для вас).Ключевым фактором во всех этих аспектах является соотношение цены и времени к вашим данным.Если ваше проблемное пространство работает нормально, поместив данные непосредственно в SQL DW или аналогичное в Azure, вы можете это сделать.Если ваш объем данных настолько велик, что вам не нужно все это в SQL DW (по соображениям стоимости или управления), то сначала вам может пригодиться модель использования хранилища.Я надеюсь, что это даст вам больше подробностей, чтобы помочь в принятии дизайнерских решений

...