Blob to Azure sql db load - PullRequest
       48

Blob to Azure sql db load

0 голосов
/ 14 октября 2019

blob содержит раздел данных таблицы разделов Hive, созданный по году, месяцу и дню. Контейнер выглядит как год = 2016 / месяцы = 1 / день-1 - от 0000_1 (файл) до дня-31 - 0000_31 (файл). Таким образом, у нас есть 3 месяца внутри года, и каждый месяц содержит папку дней, а папка дней недели содержит файл.

Теперь мы хотим поместить эти данные в таблицу Azure sql Db, которая не разбита на разделы.

1 Ответ

0 голосов
/ 24 октября 2019

Если я правильно понимаю, у вас есть BLOB-объекты со структурой 2016/03 / 01_001 2016/03 / 01_003, и мы намерены скопировать данные в SQL Azure. Я предполагаю, что структура BLOB-объектов одинакова для всех файлов. Я предлагаю

1: использовать действие GetMetadata и получать всю информацию о больших двоичных объектах

2: использовать действие foreach для чтения одного большого двоичного объекта за раз

3: внутри foreachдобавьте источник активности копирования как BLOB-объект и приемник SQL Azure.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...