Добавочная загрузка AzureDataFactory с использованием Python

Question

Как мне создать Azure Datafactory для инкрементальной загрузки с использованием Python? где я должен упомянуть параметр загрузки файла (Incremental Load: LastModifiedOn) при создании операции или конвейера ??

мы можем сделать это с помощью пользовательского интерфейса, выбрав File Load Option. но как сделать то же самое прагматично, используя python?

Python api для datafactory поддерживает это или нет?

Answer 1

Мои исследования показывают, что в Python SDK эта функция еще не реализована.Я использовал SDK для подключения к существующему экземпляру и получил два примера наборов данных.Я не нашел ничего похожего на «дату последнего изменения».Я пытался dataset.serialize(), dataset.__dict__, dataset.properties.__dict__.Я также пытался .__slots__.

Попытка serialize() значительна, потому что должно быть паритетом между JSON, сгенерированным в GUI, и JSON, сгенерированным Python.Отсутствие четности говорит о том, что версия SDK отстает от версии GUI.

ОБНОВЛЕНИЕ: SDK обновляются.

Answer 2

Согласно этому блогу , вы можете получить функцию инкрементальной загрузки только из ADF SDK, установив свойства modifiedDatetimeStart и modifiedDatetimeEnd.

Вы можете установить вышеуказанные свойства в additional_properties класса azure_blob_dataset.