Разделение конвейера фактора данных на основе наличия столбца

Question

Я создаю конвейер для встраивания серии csvs в базу данных SQL Azure

CSV получены из медицинского программного обеспечения с именем SystmOne , CSV представляют собой либо набор данных full , либо набор delta . Единственным отличием в их схемах является наличие дополнительного столбца: RemovedData.

Наличие этого столбца потребует дополнительного шага в конвейере (удаление любой строки из базы данных с помощью RemovedData == true).

Есть ли способ в ADF или (ADF с предварительным просмотром потока данных) запросить файл на наличие столбца и разделить конвейер на основе результата?

У меня нет контроля над начальным выводом файла.

Answer 1

Вы можете проверить количество столбцов в исходном наборе данных с помощью свойства getMetadataActivty columnCount, а затем с помощью If Activity делать то, что вам нужно.

Выражение в активности IF: @equals(activity('YourGet Metadata').output.columnCount,numberOfColumns)

А затем, основываясь на true или false, вы выбираете свой набор данных с помощью схемы propper.