Вызов API конвейера Azure Data Factory v2 для отметки времени запуска - PullRequest
Новая
       15

Вызов API конвейера Azure Data Factory v2 для отметки времени запуска

0 голосов
/ 23 мая 2018

Я новичок в работе с фабрикой данных Azure и пытаюсь настроить конвейер, который извлекает данные из API за определенный период времени.Вот что я делал до сих пор: я создал конвейер переворачивающегося окна для вызова API, чтобы вводить данные в виде файла JSON и сохранять в папке ADL с определенной временной меткой.Проблема в том, что я хочу получить только данные за текущий день и час и сохранить их в этой папке egyear / month / day / hour / json file. Как я могу указать URL-адрес только для получения данных в течение часа, когда активирован триггер (триггерустановлен для каждого полного часа и должен извлекать данные, например, с 3:00 до 3:59. Мне удалось получить данные с определенной отметки времени, но не текущего времени, которое будет связано с временем запуска. Код URL:? sourceId = 1LuOA, 9VKZ2, CISG1, D7UIQ, gu4me, hSZGT, K582n, MnkPP, Mxgt4, N4hAZ, PvECt, Qhr1i, uIWnW, vot1K, XAbJ4, XRH1E, ZbKW0, Zjrs3, ZttLo & интервал = S10 & maxResult = 500 & startTimestamp = 2018-05-16T00: 00: 00% 2B00: 00 & endTimestamp= 2018-05-16T00: 59: 59% 2B00: 00

раковина Код: 

beacon/@{formatDateTime(adddays(utcnow(),0),'yyyy')}/@{formatDateTime(adddays(utcnow(),0),'MM')}/@{formatDateTime(adddays(utcnow(),0),'dd')}

, когда я пытаюсь добавить часы, я получаю странную папку, которая не представляет часы.

1 Ответ

0 голосов
/ 28 мая 2018

В вашем конвейере определите параметр конвейера, скажем, windowStart.Затем передайте trigger (). Output.windowStartTime в ваш параметр конвейера.И затем, если ожидаемое имя папки - abc / year / month / day / hour.Вы можете использовать abc/@{formatDateTime(pipeline().parameters.windowStart,'yyyy')/@{formatDateTime(pipeline().parameters.windowStart,'MM')/@{formatDateTime(pipeline().parameters.windowStart, 'dd')/@{formatDateTime(pipeline().parameters.windowStart,'HH')}

Пожалуйста, укажите это для переворачивающегося окна.https://docs.microsoft.com/en-us/azure/data-factory/how-to-create-tumbling-window-trigger#tumbling-window-trigger-type-properties

...