Оболочка для запуска StreamSets Pipeline - PullRequest
Новая
       112

Оболочка для запуска StreamSets Pipeline

0 голосов
/ 17 марта 2020

Я хочу подключиться к Control Hub и хочу запустить конкретный StreamSets конвейер с помощью Shell Script.

1 Ответ

0 голосов
/ 18 марта 2020

В веб-интерфейсе StreamSets Control Hub нажмите RESTful API , а затем Job Runner . Вы увидите инструкции по аутентификации из командной строки, используя curl. Прокрутите вниз, и вы увидите API для запуска задания с указанием идентификатора задания.

Соединяя их вместе, вам нужно будет сделать что-то вроде: 

# login to Control Hub security app
curl -X POST -d '{"userName":"SCHUserID", "password": "SCHUserPassword"}' \
https://cloud.streamsets.com/security/public-rest/v1/authentication/login \
--header "Content-Type:application/json" --header "X-Requested-By:SCH" \
-c cookie.txt

# generate auth token from security app
sessionToken=$(cat cookie.txt | grep SSO | rev | grep -o '^\S*' | rev)
echo "Generated session token : $sessionToken"

# Start a job using the auth token
curl -X GET https://cloud.streamsets.com/jobrunner/rest/v1/job/{jobId}/start \
--header "Content-Type:application/json" --header "X-Requested-By:SCH" \
--header "X-SS-REST-CALL:true" --header "X-SS-User-Auth-Token:$sessionToken" \
-i
...