Рекомендация для хранения и запроса журнала выполнения DataFactory? - PullRequest
Новая
       30

Рекомендация для хранения и запроса журнала выполнения DataFactory?

0 голосов
/ 03 июля 2019

Я хотел бы сохранить и запросить данные OUTPUT и ERROR, сгенерированные во время выполнения DataFactory. Данные возвращаются при вызове Get-AzDataFactoryV2ActivityRun.

Цель состоит в том, чтобы использовать его для простого и быстрого мониторинга возможных ошибок выполнения конвейера, длительности и т. Д.

Данные повторяются в формате JSON. Что было бы неплохо, так это визуализировать сводку по каждому выполнению через некоторый html. Должен ли я хранить этот журнал в MongoDB?

Существует ли простой и лучший способ централизовать данные журнала множественного выполнения различных конвейеров? 


ResourceGroupName : Test
DataFactoryName   : DFTest
ActivityRunId     : 00000000-0000-0000-0000-000000000000
ActivityName      : If Condition1
PipelineRunId     : 00000000-0000-0000-0000-000000000000
PipelineName      : Test
Input             : {}
Output            : {}
LinkedServiceName :
ActivityRunStart  : 03/07/2019 11:27:21
ActivityRunEnd    : 03/07/2019 11:27:21
DurationInMs      : 000
Status            : Succeeded
Error             : {errorCode, message, failureType, target}

Activity 'Output' section:
"firstRow": {
  "col1": 1
}
"effectiveIntegrationRuntime": "DefaultIntegrationRuntime (West Europe)"

1 Ответ

1 голос
/ 04 июля 2019

Вероятно, это не лучший способ мониторинга ваших конвейеров ADF.
Рассматривали ли вы использовать Azure Monitor?
Узнайте больше:
- https://docs.microsoft.com/en-us/azure/data-factory/monitor-using-azure-monitor
- https://docs.microsoft.com/en-us/azure/azure-monitor/visualizations

...