Можем ли мы автоматизировать ETL в Azure?

Question

В настоящее время я работаю над очень интересным проектом ETL, используя Azure для преобразования моих данных вручную. Однако преобразование данных вручную может быть утомительным и длительным, когда у меня появляется несколько исходных файлов для обработки. Мой конвейер сейчас работает нормально, потому что мне нужно преобразовать только несколько файлов, но что, если у меня есть тысячи файлов Excel?

Итак, чего я хочу добиться, так это того, что я хочу расширить проект и извлечь файлы Excel, поступающие из электронной почты, с помощью приложения logi c, а затем применить ETL непосредственно поверх них. Есть ли способ автоматизировать ETL в Azure. Могу ли я выполнить ETL, не изменяя конвейер для другого типа данных вручную? Как сделать мой конвейер гибким, чтобы иметь возможность обрабатывать преобразование данных для различных типов исходных данных?

Заранее благодарю за помощь.

Answer 1

Могу ли я выполнить ETL без изменения конвейера для другого типа данных вручную?

Согласно вашему описанию, я полагаю, что вы уже знали коннектор ADF поддерживается в приложении Logi c. Вы можете выполнить конвейер ADF в потоке приложения Logi c и даже передать параметры в конвейер ADF.

Обычно службы источника и приемника должны быть исправлены в одном действии копирования, но вы можете определить динамическое c путь к файлу в наборах данных. Таким образом, вам не нужно создавать несколько операций копирования.

Если типы данных отличаются, вы можете попробовать передать параметр из приложения Logi c в ADF. Затем перед передачей данных вы можете использовать действие Switch для маршрутизации передачи в разные ветви.