Как убить искровую работу из ps -ef программно - PullRequest
Новая
       38

Как убить искровую работу из ps -ef программно

0 голосов
/ 20 июня 2019

Я хочу убить искровую работу программно. Ниже приведен сценарий:

Когда я убиваю искровую работу с помощью yarn application -kill <app_id>, она убивается, но если я делаю ps -ef | grep <app_name>, то это та самая запись искровой работы. Как мне убедиться, что его убивают и от ps -ef?

Я хочу сделать это программно, так как я делаю yarn application -kill через код.

Любая помощь по этому вопросу заметна.

Заранее спасибо.

1 Ответ

0 голосов
/ 20 июня 2019

Вы хотите использовать 'ps -ef | grep SparkSubmit ', чтобы найти любые аббатские рабочие места Spark. Затем используйте kill -9 на их PID ID, чтобы убить их. НЕ УБИВАЙТЕ ГЛАВНУЮ ИСКРЕННУЮ ЗАДАНИЕ 

//Find all the java jobs
[stack_overflow@stack_overflow ~]$ ps -ef | grep SparkSubmit
stack_overflow  96747  96736 99 11:19 pts/15   00:01:55 /usr/bin/java -cp /opt/spark/conf/:/opt/spark/jars/* -Dscala.usejavacp=true -Xmx1g -Dderby.system.home=/home/stack_overflow/Spark/ org.apache.spark.deploy.SparkSubmit --conf spark.local.dir=/opt/spark/temp_land/spark-temp --conf spark.driver.extraJavaOptions=-Dderby.system.home=/home/stack_overflow/ --class org.apache.spark.repl.Main --name Spark shell spark-shell
stack_overflow  97410  14952  0 11:20 pts/15   00:00:00 grep --color=auto SparkSubmit
//96747 is the Spark job I forced to become unresponsive
//97410 is the Base Spark Account don't delete
////Run the kill command on the job, only works if you have permissions on that job
[stack_overflow@stack_overflow ~]$ kill -9 96747
//The job is now dead and gone
[stack_overflow@stack_overflow ~]$ ps -ef | grep SparkSubmit
stack_overflow  96190  14952  0 11:17 pts/15   00:00:00 grep --color=auto SparkSubmit
...