проверка файлов перед копированием данных в озеро данных Azure через фабрику данных Azure

Question

В настоящее время я создаю конвейер данных, в котором я хотел скопировать данные из одного хранилища BLOB-объектов в Azure озеро данных через Azure фабрику данных, но перед созданием конвейера данных я хотел иметь что-то вроде проверки файлов ie он должен проверить каталог, если файл найден или нет, например: у меня есть файл csv, если файл присутствует, затем начать копирование в adls, иначе через файл ошибок не найден. Я знаю, что мы можем сделать это в python, но в adf, как добавить это в конвейер. Любая помощь будет оценена по достоинству.

Answer 1

Я бы использовал активность метаданных, чтобы получить список всех элементов в вашем хранилище BLOB-объектов (выберите свой BLOB-объект в качестве набора данных): https://docs.microsoft.com/en-us/azure/data-factory/control-flow-get-metadata-activity

Затем вам может потребоваться проверить, элемент - это файл, а не папка. Для этого вы можете добавить комбинацию действий «ForEach» и «If condition». В этом случае вы можете ссылаться на каждый элемент из шага метаданных, используя выражение @activity('GetMetadata').output.childitems и выражение @equals(item().type, 'File'), чтобы проверить, является ли он файлом.