У меня есть около 20 файлов типа Excel / PDF, которые можно загрузить с Http-сервера. Мне нужно загрузить этот файл в хранилище Azure с помощью фабрики данных

Question

У меня есть 20 файлов типа Excel / pdf, расположенных на разных серверах https. Мне нужно проверить эти файлы и загрузить их в хранилище Azure. Используя Data Factory. Мне нужно применить некоторую бизнес-логику к этим данным и загрузить их в базу данных SQL Azure. Мне нужно, если нам нужно создать конвейерную линию и сохранить эти данные в Azure. хранилище больших двоичных объектов и загрузка в базу данных SQL Azure

Я попытался создать данные для копирования в фабрике данных

Answer 1

Моя идея, как показано ниже:

№ 1

Шаг 1. Использование операции копирования для передачи данных из источника коннектора http в приемник коннектора хранилища BLOB-объектов.

Шаг 2. Тем временем настройте триггер хранилища BLOB-объектов для выполнения вашего логического кода, чтобы данные BLOB-объектов были обработаны, как только они будут собраны в хранилище BLOB-объектов.

Шаг 3. Использование операции копирования для передачиданные из источника коннектора хранилища больших двоичных объектов в приемник коннектора базы данных SQL.

№ 2:

Шаг 1. Использование операции копирования для переноса данных из источника коннектора http в базу данных SQLприемник соединителя.

Шаг 2: Между тем, вы можете настроить хранимую процедуру , чтобы добавить свои логические шаги. Данные будут выполнены перед вставкой в ​​таблицу.

Я думаю, что оба метода осуществимы. № 1, бизнес-логика свободнее и гибче. В № 2 это более удобно, но оно ограничено синтаксисом хранимых процедур. Вы можете выбрать решение по своему усмотрению.

---

Excel и pdf еще поддерживаются. Исходя из ссылки , ADF поддерживает только следующие форматы:

Я протестировал файл CSV и получил следующееслучайные символы:

Вы можете обратиться к этому случаю для чтения файлов Excel в АПД: Как читать файлы с .xlsx и .xlsрасширение в фабрике данных Azure?