Обработка событий в Azure Data Factory - PullRequest
Новая
       10

Обработка событий в Azure Data Factory

1 голос
/ 13 февраля 2020

Есть ли в фабрике данных azure какой-либо метод для отслеживания событий конвейера? У меня есть таблица журнала событий, и мне нужно записать все события, связанные с конвейерами, в одну таблицу. Какие-либо шаблоны / методы наилучшей практики, доступные для достижения того же самого?

С уважением, Сандип

1 Ответ

0 голосов
/ 17 февраля 2020

1.Вы можете использовать Azure Монитор в АПД и включить диагностику. c Журнал и сохранение журналов в Azure Хранилище BLOB-объектов. Затем анализируются журналы и переносятся в таблицы по вашему желанию.

2. Другой вариант: вы можете использовать SDK монитора ADF или REST API , чтобы получить подробности выполнения операций по Pipeline Run Id: 

List<ActivityRun> activityRuns = client.ActivityRuns.ListByPipelineRun(
resourceGroup, dataFactoryName, runResponse.RunId, DateTime.UtcNow.AddMinutes(-10), DateTime.UtcNow.AddMinutes(10)).ToList(); 
if (pipelineRun.Status == "Succeeded")
    Console.WriteLine(activityRuns.First().Output);
else
    Console.WriteLine(activityRuns.First().Error);

Тогда вы можете получить все действия подробно описываются в таблицах, как вы хотите.

...