Как ежедневно копировать выгруженные данные Redshift S3 в Azure? - PullRequest
0 голосов
/ 22 октября 2018

Я хочу создать механизм, который будет ежедневно выгружать данные из красного смещения в S3 в папке, и эти данные будут ежедневно копироваться в Auzre, я хочу построить его таким образом, чтобы выгрузка заняларазмещайте ежедневно, и ежедневно старый файл S3 будет удаляться, так что Azure будет принимать только самые последние файлы в базе данных SQL Azure.Можно ли это сделать?Я не могу найти много по этому вопросу.

1 Ответ

0 голосов
/ 22 октября 2018

ADF не поддерживает s3 в качестве приемника.Таким образом, вы не можете копировать файлы в s3 с помощью встроенной функции копирования.Но когда источником является Redshift, ADF предоставляет параметр выгрузки , который поможет вам сначала выгрузить данные в s3.

Тогда вы можете просто сосредоточиться на копировании данных из Redshift в Azure SQL.В вашем случае вы можете использовать триггер расписания или триггерное окно для построения ежедневного конвейера.

...