Мы создаем Федеративное хранилище данных, используя снежинку i, ei будет иметь выделенный DWH для каждого конкретного c региона, скажем, 3 региона. У меня будет один глобальный DWH в отдельном регионе, для которого нам нужно взять данные из таблиц из другого региона DWH для отчетности. Каков наилучший подход к выполнению того же sh?
Я прочитал и понял, что вы можете выгружать данные из DWH в область в AWS S3 или AZURE BLob в той же области. Это я должен сделать это для всех 3 регионов. Затем у нас есть опция в AWS S3 межрегиональной репликации, которую я могу включить и затем загрузить в Global DWH.
Это был мой подход, который кажется немного длинным и может стоить дополнительных затрат на межрегиональную передачу данных, что в любом случае требуется. Главным образом я не смогу создать поток сквозной. Поскольку все находятся в разных регионах, мне нужно запустить отдельное задание, чтобы выгрузить его на s3 в этом регионе, нужно проверить и начать загрузку после завершения всех трех разгрузок. Рабочий процесс или оркестровка также проблема. Я рассмотрел AWS Функция Batch and Step, но обе региональные службы.
Цените, если кто-то может через свет и варианты? Спасибо!