Запуск сценария оболочки из конвейера активности Hive из HDInsight с использованием фабрики данных azure (ADF) для планирования - PullRequest
0 голосов
/ 30 апреля 2020

Мы переносим сценарий куста по обещанию в HDInsight, нужны пояснения:

у нас есть файл. sh, внутри. sh файла, который мы называем .hql.

В ADF как создать конвейер активности улья для вызова. sh файл для запуска .hql файл

. sh файл

! / Bin / bash

set -eu

установить переменные load_date и load_timestamp для сценариев кустов

load = date +'%Y-%m-%dXXX%HZZZ%MZZZ%S.%7N' echo $ дата загрузки = echo $load | sed 's/[^0-9]*//g' | cut -c-8 echo $ date

список улей

script_list = ingestion.hql

Ваша помощь будет высоко оценена.

...