Озеро данных Azure: как получить обработанные файлы - PullRequest
Новая
       43

Озеро данных Azure: как получить обработанные файлы

0 голосов
/ 02 мая 2018

Я только начал работать с Data Lake и сейчас пытаюсь понять реальные шаги рабочего процесса и как автоматизировать весь процесс. Скажем, у меня есть входные файлы, и я хотел бы обработать их и загрузить выходные файлы, чтобы отправить их в мое хранилище данных и / или SSAS.

Я нашел абсолютно прекрасный API , и все это хорошо, но я не могу найти способ получить все имена файлов в каталоге, чтобы они загружались дальше.

Пожалуйста, исправьте мои мысли относительно рабочего процесса. Есть ли другой, более элегантный способ автоматического переноса всех обработанных данных (выводов) в хранилище (например, обычный SQL Server, SSAS, хранилище данных и т. Д.)?

Если у вас есть рабочее решение на основе Data Lake, опишите рабочий процесс (от «сырых» файлов до отчетов для конечных пользователей) несколькими словами.

вот мой пример приложения NET Core 

using Microsoft.Azure.DataLake.Store;
using Microsoft.IdentityModel.Clients.ActiveDirectory;
using Microsoft.Rest.Azure.Authentication;

            var creds = new ClientCredential(ApplicationId, Secret);
            var clientCreds = ApplicationTokenProvider.LoginSilentAsync(Tenant, creds).GetAwaiter().GetResult();
            var client = AdlsClient.CreateClient("myfirstdatalakeservice.azuredatalakestore.net", clientCreds);
            var result = client.GetDirectoryEntry("/mynewfolder", UserGroupRepresentation.ObjectID);

1 Ответ

0 голосов
/ 03 мая 2018

Скажем, у меня есть несколько файлов для ввода, и я хотел бы обработать их и загрузить выходные файлы для отправки в мое хранилище данных и / или SSAS.

Если вы хотите загрузить файлы из папки Azure Datalake по локальному пути, вы можете использовать следующий код для этого. 

client.BulkDownload("/mynewfolder", @"D:\Tom\xx"); //local path

Но, насколько я понимаю, вы можете использовать azure datafactory , чтобы отправить ваши данные из хранилища данных в хранилище лазурных двоичных объектов или лазурное хранилище файлов.

...