Вызов искры- sql в bash - PullRequest
Новая
       9

Вызов искры- sql в bash

0 голосов
/ 26 мая 2020

У меня есть файл sql, который создает несколько таблиц. Раньше он работал в улье, теперь я конвертирую его, чтобы он работал как искра sql. При этом я хочу создать файл журнала, в котором будет указано, сколько общих таблиц было создано, а также для отправки мне письма после завершения задания или в случае ошибки. Итак, я подумал написать это в bash, как показано ниже, 

#! /bin/bash

spark-sql -e "My first sql script;" 2>error.txt

if [ $? -eq 0 ]
then
    echo "Table 1 Created" >> logfile.txt
else
    code to trigger mail with the error
fi

spark-sql -e "My second sql script;" 2>error.txt

if [ $? -eq 0 ]
then
    echo "Table 2 Created" >> logfile.txt
else
    code to trigger mail with the error
fi

If all the tables are created, then a mail with the log file should be sent

Я не уверен, что это эффективный способ сделать это. Можно ли это сделать или есть альтернатива

...