Как убрать приложение apache spark, работающее в фоновом режиме, после его удаления из веб-интерфейса SPARK - PullRequest
Новая
       40

Как убрать приложение apache spark, работающее в фоновом режиме, после его удаления из веб-интерфейса SPARK

2 голосов
/ 20 июня 2019

Приведенный ниже код успешно создает искровой контекст при отправке с использованием spark submit и работает нормально.

Когда я убиваю приложение под Running Applications от Apache spark веб-интерфейс, состояние приложения показывает killed, но вывод на экран Test application после убийства также:

Приложение, работающее в веб-интерфейсе apache spark:

enter image description here

Приложение убито кнопкой "kill" на веб-интерфейсе spark

enter image description here

По-прежнему печатать сообщение на экране после уничтожения приложения

enter image description here

Нужно решение для автоматического уничтожения работы с Python, когда я убиваю иск-контекст from pyspark import SparkConf from pyspark import SparkContext if __name__ == "__main__": conf = SparkConf().setAppName("TEST") conf.set("spark.scheduler.mode", "FAIR") sc = SparkContext(conf=conf) while True: print("Test application")

Ответы [ 3 ]

0 голосов
/ 25 июня 2019

Вы можете открыть другой сеанс и посмотреть, работает ли ваше искровое приложение - 

yarn application -list <app_id>

, а затем убить ваше приложение, если оно все еще работает, 

yarn application -kill <app_id>
0 голосов
/ 26 июня 2019

Я нашел способ решить мою проблему с помощью приведенного ниже кода.Спасибо за все ваши ответы 

from pyspark import SparkConf
from pyspark import SparkContext

if __name__ == "__main__":
    conf = SparkConf().setAppName("TEST")
    conf.set("spark.scheduler.mode", "FAIR")
    sc = SparkContext(conf=conf)

    while True:
        if sc._jsc.sc().isStopped():
            break
        print("Test application")
0 голосов
/ 25 июня 2019

Вы можете сделать это по старинке.

Запустите ps -ef и найдите идентификатор задания java.Затем запустите kill -9 

//Find all the java jobs
[stack_overflow@stack_overflow ~]$ ps -ef | grep SparkSubmit
stack_overflow  96747  96736 99 11:19 pts/15   00:01:55 /usr/bin/java -cp /opt/spark/conf/:/opt/spark/jars/* -Dscala.usejavacp=true -Xmx1g -Dderby.system.home=/home/stack_overflow/Spark/ org.apache.spark.deploy.SparkSubmit --conf spark.local.dir=/opt/spark/temp_land/spark-temp --conf spark.driver.extraJavaOptions=-Dderby.system.home=/home/stack_overflow/ --class org.apache.spark.repl.Main --name Spark shell spark-shell
stack_overflow  97410  14952  0 11:20 pts/15   00:00:00 grep --color=auto SparkSubmit
//96747 is the Spark job I forced to become unresponsive
//97410 is the Base Spark Account don't delete
////Run the kill command on the job, only works if you have permissions on that job
[stack_overflow@stack_overflow ~]$ kill -9 96747
//The job is now dead and gone
[stack_overflow@stack_overflow ~]$ ps -ef | grep SparkSubmit
stack_overflow  96190  14952  0 11:17 pts/15   00:00:00 grep --color=auto SparkSubmit
...