Как убить задание Spark с именем задания в автономном кластере - PullRequest
0 голосов
/ 05 февраля 2019

Как убить задание Spark с именем задания в автономном кластере?Как перечислить идентификаторы заданий Spark в песочнице?Есть ли команда, похожая на yarn application -list?

1 Ответ

0 голосов
/ 08 февраля 2019
variable=$1
jar=$2
ps -ef | grep -w ${variable} | grep -w 'org.apache.spark.deploy.SparkSubmit' | grep -w ${jar}>t.txt
 sed -n 1p t.txt>t1.txt
 awk '{print $3}' t1.txt >kill.txt
 while read x;do
  kill -9 $x
  echo Process Id $x and Application "$variable" killed
done <kill.txt
...