Как распаковать zip-папку, содержащую TAR-файлы, содержащие zip-файлы, каждый из которых содержит CSV-файл, в Data Factory? - PullRequest
0 голосов
/ 03 октября 2019

В настоящее время я изучаю, как использовать фабрику данных Azure. Я пытаюсь сделать прием данных и преобразование, которые я сделал в скрипте Python. Теперь я пытаюсь сделать то же самое на фабрике данных, так как это должно быть проще.

У меня есть папка с архивом. Содержит файлы Tar. Каждый файл содержит сжатый файл cvs. Включение файла CSV непосредственно в большой двоичный объект, конечно, было бы легко, но если бы мне пришлось автоматизировать прием такой сжатой папки, как я мог бы загрузить CSV в базу данных, если я даже не могу понять, как разархивировать, detar и разархивировать снова? В этом случае я использую климатические данные из реального примера ... У меня есть идеи, как справиться с этой проблемой, я был бы признателен! Заранее спасибо !!!

1 Ответ

0 голосов
/ 07 октября 2019

На основании официального документа набор данных хранилища BLOB-объектов adf поддерживает только типы сжатия ниже:

enter image description here

Формат тар неподдерживается ADF естественно. Однако вы можете следовать решению, которое упоминается в том же документе, используя функцию Azure для извлечения содержимого файла tar или создания этой функциональности с использованием настраиваемой операции с сетью точек. Учитывая вашу немного сложную ситуацию, я предлагаю вам использовать пользовательские действия.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...