Получить список всех файлов в каталоге Azure Data Lake для поиска активности в ADFV2

Question

У меня есть несколько файлов в хранилище Azure Data Lake, я создаю конвейер в ADFV2, чтобы получить список всех файлов в папке в ADLS.Как это сделать?

Answer 1

Вы можете выполнить приведенные ниже шаги для вывода списка файлов в ADLS.

1: Используйте ADLS sdk, чтобы получить список имен файлов в определенном каталоге и вывести результаты.Например, java sdk здесь .Конечно, вы можете использовать .net или python.

// list directory contents
List<DirectoryEntry> list = client.enumerateDirectory("/a/b", 2000);
System.out.println("Directory listing for directory /a/b:");
for (DirectoryEntry entry : list) {
    printDirectoryInfo(entry);
}
System.out.println("Directory contents listed.");

2.Скомпилируйте файл, чтобы он мог быть выполнен. Сохраните его в хранилище BLOB-объектов Azure.

3. Используйте настраиваемое действие в фабрике данных Azure, чтобы настроить путь к хранилищу BLOB-объектов и выполнить программу.Подробнее, пожалуйста, следуйте этому документу .

Надеюсь, он вам поможет.

Вы можете использовать пользовательские действия в фабрике данных Azure.

https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-get-started-java-sdk#list-directory-contents

Answer 2

Вы должны использовать действие Получить метаданные.Проверьте это