Я пытаюсь скопировать инкрементные данные из Azure SQL в хранилище BLOB-объектов, но оно перезаписывает все существующие данные в каждом файле. Можете ли вы предоставить мне решение этой проблемы
Создать новый файл при каждой дельта-загрузке, а затем добавить данные дельта-файла в исходный файл. Для добавления данных файла вы используете эту ссылку Как добавить текстовый файл в Azure BLOB-объекте с функцией Azure .
Ваш конвейер должен будет захватывать только дельта-данные , а не все данные. Это потребует ряда операций поиска, операции копирования, которая только копирует дельта-данные, и сохраненной операции про c для обновления даты последнего изменения (которая будет использоваться для будущего копирования)
Извлечь: https://docs.microsoft.com/en-us/azure/data-factory/tutorial-incremental-copy-powershell