Инкрементно копировать S3 в лазурную каплю

Question

Я изучаю способы инкрементного копирования блобов S3 в лазурные капли. Я попробовал фабрику данных Azure и не смог найти эту опцию.

S3 имеет миллионы объектов, и без инкрементной опции для ее завершения требуются часы.

Я открыт для изучения других инструментов / опций.

Answer 1

, если вам нужно делать ежедневное / почасовое пошаговое копирование, опция запланированное / акробатическое окно должна быть опцией. Здесь является примером для ссылки. ADFv2 также поддерживает сжатие при копировании, вы можете указать тип и уровень сжатия для объекта s3, нажмите здесь для получения дополнительной информации.