Как мне масштабировать Azure Data Factory Dataflow?

Question

Мне удалось довольно легко настроить процесс SCD типа 2 с использованием интерфейса ADF для одной таблицы, НО я не вижу простого способа масштабирования до тысяч источников данных, которые у нас есть. Я не вижу никаких Java API, которые позволили бы мне писать ADF Pipelines / Dataflow и настраивать и динамически их запускать. Нет интерфейса, позволяющего выбирать таблицы из конкретной базы данных и т. Д. c. Я посмотрел на Azure Datalake Gen 2, Azure Databricks et c. В Azure я не вижу никакого инструмента, который позволил бы нам заменить встроенный в систему процесс приема данных, основанный на пользовательском интерфейсе. Я что-то упустил?

Кстати, у нас есть старое приложение озера данных, которое получает данные из тысяч источников данных, таких как базы данных, файлы журналов, веб-приложения и т. Д. c, и сохраняет данные в HDFS ( типичная архитектура) с использованием таких технологий, как Java, Spark, Kafka et c. Мы оцениваем Azure Active Data Factory, чтобы заменить его.

Answer 1

Вы можете использовать REST API из Java для построения конвейеров с использованием кода.

https://docs.microsoft.com/en-us/azure/data-factory/quickstart-create-data-factory-rest-api

Answer 2

Существует обобщенный пример c SCD (тип 1, но вы можете перейти на тип 2), встроенный в ADF. Go в New> Конвейер из шаблона> Преобразование с потоками данных> Generi c Тип SCD 1.

Этот шаблон описан здесь: https://techcommunity.microsoft.com/t5/azure-data-factory/create-generic-scd-pattern-in-adf-mapping-data-flows/ba-p/918519.

Вы также можете перебирать наборы таблиц без схемы для Foreach внутри конвейера, вызывая один и тот же поток данных на каждой итерации.

Наконец, если вы все еще будете sh программно удалять потоки данных, то. NET и PowerShell SDK перечислены в разделе справочных материалов Azure документации.