Использование инкрементного идентификатора в качестве водяного знака для копирования данных в конвейер фабрики данных Azure вместо даты и времени

Question

Я могу постепенно загружать данные из исходной базы данных Azure MSSQL в приемную базу данных Azure MSSQL с использованием отметки времени.По какой-то причине я хочу постепенно загружать данные, используя инкрементный идентификатор в исходной базе данных вместо временной метки.Возможно ли это?

Мне нужно выполнять операцию копирования данных только один раз в день.Поэтому я также хотел бы сохранить идентификатор пакета для каждого действия копирования данных в таблице batch_details.

Я использую ADF v.2

Я новичок в Azure,Как мне это сделать?

Answer 1

То, что вы спрашиваете, в основном объясняется в этом руководстве из официальной документации: https://docs.microsoft.com/en-us/azure/data-factory/tutorial-incremental-copy-overview

Вы можете использовать в качестве водяного знака все, что захотите, в руководстве используется значение datetime, но работает инкрементный идентификатортоже.

Чтобы запускать конвейер один раз в день, используйте триггер: https://docs.microsoft.com/en-us/azure/data-factory/concepts-pipeline-execution-triggers#schedule-trigger

Надеюсь, это помогло!