Запуск сценария оболочки из файла yaml в шаблоне datapro c

Question

Можно ли запустить скрипт оболочки как задание через файл yaml, используя datapro c шаблон рабочего процесса. Если да, как мы можем это сделать.

Я работал над шаблонами рабочего процесса, но они у меня было oop и спарк заданий, но я не уверен, как запустить скрипт оболочки.

Answer 1

Нет прямого способа сделать это, но есть обходной путь: добавьте шаг работы свиньи с помощью -e=sh myscript.sh. Вам придется разместить файл в кластере с помощью действия init.

В качестве альтернативы, вы можете создать сценарий python, который отправляется в сценарий bash. Преимущество выполнения этого задания - pyspark. Он позаботится о загрузке сценария для вас с помощью аргумента --files.