Включая прошедшее время / продолжительность в электронном письме с уведомлением об успехе от логических приложений в фабрике данных - PullRequest
Новая
       43

Включая прошедшее время / продолжительность в электронном письме с уведомлением об успехе от логических приложений в фабрике данных

0 голосов
/ 04 октября 2019

Я создал конвейер в Azure DataFactory для запуска процесса Databricks. В зависимости от многих переменных процесс создания блоков данных может занять 10 часов или 18 часов. У меня есть уведомление по электронной почте, настроенное с помощью логических приложений / веб-активности в фабрике данных, чтобы отправить мне электронное письмо, когда процесс будет полностью завершен. Тем не менее, я не могу понять, как я могу определить «длительность» запуска триггера для этого успешного электронного письма.

Этот фрагмент включен в раздел «Тело» веб-действия в фабрике данных: 

{"message":"@{activity('NAME OF ACTIVITY').output.dataWritten}","dataFactoryName":"@{pipeline().DataFactory}","pipelineName":"@{pipeline().Pipeline}","receiver":"@pipeline().parameters.receiver"}

Это HTTP-запрос, который я имею в приложении логики: 

{
    "properties": {
        "DataFactoryName": {
            "type": "string"
        },
        "EmailTo": {
            "type": "string"
        },
        "ErrorMessage": {
            "type": "string"
        },
        "PipelineName": {
            "type": "string"
        },
        "Subject": {
            "type": "string"
        }
    },
    "type": "object"
}

Я ожидаю, что успешное письмо, отправленное на мою электронную почту с Вашим конвейером, заняло xx часов и xx минут, чтобы работать на mm /дд / гггг

1 Ответ

0 голосов
/ 07 октября 2019

На основе Системные переменные в конвейере ADF , вы не можете получить время выполнения конвейера напрямую. Однако вы можете получить время запуска конвейера.

Итак, моя идея - использовать действие функции Azure после действия Databricks. Основная структура - это действие Databricks ---> Activity Azure --- --- Web Activity.

Шаг 1: Обрабатывать пиплейн блоков данных в Выполнить операцию конвейера .

Step2: После этого выполните действие функции Azure и передайте время запуска в функцию Azure. В методе функции Azure вычислите время продолжительности и выведите строку, как хотите.

Шаг 3: Затем передайте параметры вВеб-активность и отправка электронной почты.

...