Как запустить конвейер с помощью Azure, создать API запуска конвейеров? - PullRequest
Новая
       21

Как запустить конвейер с помощью Azure, создать API запуска конвейеров?

1 голос
/ 27 июня 2019

У меня есть подписка на фабрику данных Azure, я хочу запустить конвейер через приложение node.js.Конвейер передает данные из космоса Azure в хранилище BLOB-объектов Azure.Я запустил конвейер один раз вручную.И я пытался сделать то же самое с приложением node.js, но оно выдает следующую ошибку: 

{ Error: tunneling socket could not be established, cause=connect ETIMEDOUT 10.0.0.2:8080
    at ClientRequest.onError (/home/deepti/Desktop/dbmanager/node_modules/tunnel-agent/index.js:177:17)
    at Object.onceWrapper (events.js:286:20)
    at ClientRequest.emit (events.js:198:13)
    at Socket.socketErrorListener (_http_client.js:392:9)
    at Socket.emit (events.js:198:13)
    at emitErrorNT (internal/streams/destroy.js:91:8)
    at emitErrorAndCloseNT (internal/streams/destroy.js:59:3)
    at process._tickCallback (internal/process/next_tick.js:63:19) code: 'ECONNRESET' }

А вот мой код в приложении node.js: 

Request.post("POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/pipelines/{pipelineName}/createRun?api-version=2018-06-01",(err,res,body)=>{
        if(err) {
            return console.log(err);
        }
        console.dir(JSON.parse(body));
        });

Может кто-нибудь, пожалуйста, сообщите мне, как мне исправить эту ошибку и продолжить.Нужно ли мне тоже генерировать какой-нибудь токен авторизации?

Кроме того, я на самом деле хочу создать резервную копию данных, хранящихся 1 месяц, из БД космоса в BLOB-объект Azure, возможно ли это?

1 Ответ

1 голос
/ 28 июня 2019

1. Может кто-нибудь подсказать мне, как мне исправить эту ошибку и продолжить. Нужно ли мне тоже генерировать какой-нибудь токен авторизации?

Да, перед процессом создания конвейера необходимо сгенерировать токен авторизации в заголовках. Вы можете обратиться к ADAL nodejs sdk для генерации токена. Если вы не знаете, что это за параметры:

enter image description here

, тогда, пожалуйста, обратитесь к этому учебнику и этому блогу , чтобы получить их представление. И, пожалуйста, обратите внимание, что вам также необходимо предоставить ADF-разрешение для вашего рекламного приложения.

enter image description here

enter image description here

Наконец, вы можете вызвать Pipelines - Create Run REST API и предоставить токен аутентификации в header.

2. Кроме того, я на самом деле хочу создать резервную копию данных, которые имеют возраст 1 месяц, из космической БД в Azure Blob, это возможно?

Если вы хотите выполнить резервное копирование данных хранилища BLOB-объектов Azure, перейдите по этой ссылке . Вы можете использовать AzCopy в расписании для резервного копирования данных на этапе.

...