Я создаю новый оператор для перемещения данных из базы данных SQL Server в базу данных SQL Azure. Внутри этого оператора я извлекаю данные из исходной базы данных SQL, применяю некоторые преобразования и отправляю данные через концентраторы событий Azure, где они будут вставлены в мою новую базу данных SQL Azure.
Я не извлекаю все данные сразу. Я сохраню количество и количество, которое было извлечено в отдельной базе данных (вместе с другими конфигурациями).
Большая проблема в том, что в этом случае в моей группе обеспечения доступности баз данных будет только один оператор, который принимает на себя слишком большую ответственность, ИМХО.
Я думал о том, чтобы хранить мои данные на сервере Airflow и выполнять необходимые преобразования в группе обеспечения доступности баз данных, где я мог бы лучше контролировать происходящее, видеть последовательность задач и т. Д.
Есть ли лучший способ добраться сюда?
Моя идея состоит в том, чтобы для каждой таблицы моего источника было запущено несколько групп доступности баз данных.