Создайте конвейер в фабрике данных azure для загрузки файлов Excel, форматирования содержимого, преобразования в CSV и отправки в azure sql DB. - PullRequest
0 голосов
/ 09 мая 2020

Я приближаюсь к среде Azure и смотрю учебники / читаю документы, но я пытаюсь понять, как настроить поток, который включает процесс, который я опишу ниже. Отправной точкой являются отчеты в формате .xlsx, ежемесячно выпускаемые Mktg Dept: необходимо внести их в Azure SQL DB, чтобы данные можно было хранить и анализировать. Sofar мне удалось поместить эти файлы (ранее вручную преобразованные в формат .csv) в хранилище BLOB и построить конвейер ADF, который копирует каждый файл в таблицу в SQL DB. Проблема в том, что, насколько я понял, с помощью ADF невозможно напрямую управлять файлами xlsx, и мне интересно, как настроить автоматическую процедуру, которая позволяет преобразовывать из .xlsx в .csv и сохранять их в хранилище больших двоичных объектов. Я думал о добавлении в конвейер записной книжки python script / Databricks для преобразования формата, но не уверен, что это может быть лучшим решением. Мы будем очень благодарны за любые подсказки / ссылки на существующее руководство или ресурсы

1 Ответ

0 голосов
/ 03 июня 2020

Я нашел учебник , в котором для преобразования используются приложения Logi c.

Datanovice косвенно предложил использовать пользовательское действие для запуска либо C# или Python, которое выполнит преобразование за вас.

Наименее затратным решением было бы выполнить преобразование перед загрузкой в ​​blob, как сказал Датановице.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...