Можно ли загрузить выборочные данные из файла в ADW через конвейер Azure

Question

Я хотел знать, сможем ли мы загрузить выборочные данные из файла в ADW через конвейер Azure.

Я получу полный файл ежедневно, и мне придется загружать данные в ADW.Но я просто должен загрузить только данные за последние 2 дня из файла.В файле будет дата для представления данных.

Я просмотрел документацию конвейера и не смог найти способа отфильтровать данные непосредственно из файла.

Может кто-нибудь подсказать, возможно ли это?

Спасибо

Answer 1

Если файл данных является файлом CSV или аналогичным в хранилище BLOB-объектов или хранилище озера данных, вы можете создать внешнюю таблицу в ADW, которая отображает файл данных.Затем вы можете использовать запрос выбора для получения данных за последние 2 дня при загрузке данных из внешней таблицы.

/ Magnus