Предотвращение создания пустых файлов с помощью операции копирования фабрики данных Azure

Question

Я использую фабрику данных Azure для копирования данных из базы данных Azure Cosmos в Azure Data Lake.Мой конвейер состоит из операции копирования, которая копирует данные в приемник озера данных.

Это мой запрос к исходному набору данных:

select * from c 
where c.data.timestamp >= '@{formatDateTime(addminutes(pipeline().TriggerTime, -15), 'yyyy-MM-ddTHH:mm:ssZ' )}' 
AND c.data.timestamp < '@{formatDateTime(pipeline().TriggerTime, 'yyyy-MM-ddTHH:mm:ssZ' )}'

Я получаю данные за последние 15 минут до времени запуска.

Теперь, если естьесли запрос не извлекает данные, то операция копирования создает пустой файл и сохраняет его в озере данных.Я хочу предотвратить это.Есть ли способ, которым я могу достичь этого?

Answer 1

Я попробовал следующее, и оно работает: я проверяю, возвращает ли запись поиска больше 0 строк.

Answer 2

Вы можете использовать операция поиска , а затем использовать операцию if, чтобы решить, нужно ли вам запускать операцию копирования.

В операции поиска вы можете установить firstRowOnly как true, так как вытолько хочу проверить, есть ли данные.