Как получить максимум заданного столбца из активности копирования данных ADF

Question

У меня есть активность копирования данных для локального SQL сервера в качестве источника и ADLS Gen2 в качестве приемника. Существует управляющая таблица для получения tableName, watermarkDateColumn и watermarkDatetime для получения дополнительных данных из исходной базы данных.

После того, как данные загружены в приемник, я хочу получить максимум watermarkDateColumn в моем наборе данных. Можно ли его получить из @activity('copyActivity1').output?

Мне не разрешено использовать одно дополнительное действие поиска для запроса исходной таблицы для получения max (watermarkDateColumn) в конвейере.

Answer 1

Копирование может использоваться только для передачи данных, а не для какой-либо другой функции агрегирования. Так что @activity ('copyActivity1'). Output не поможет. Поскольку вы сказали, что не можете использовать действие поиска, я боюсь, что ваше требование пока недоступно.

Если вы предпочитаете не использовать дополнительные действия, я предлагаю вам использовать вместо этого действие потока данных, которое является более гибким. В действии потока данных есть встроенная функция агрегирования .