Я использую EMR с livy, но Livy убивает некоторые сессии, есть ли способ дождаться завершения других задач, вместо того, чтобы убивать эти сессии?
Спасибо,
Вот вывод для этих сеансов убийства:
Предупреждение. Игнорирование свойства конфигурации без искры: maximizeResourceAllocation = true
19/04/23 12:07:11 ПРЕДУПРЕЖДЕНИЕ SparkConf: Конфигурационный ключ «spark.yarn.executor.memoryOverhead» устарел в Spark 2.3 и может быть удален в будущем. Пожалуйста, используйте новый ключ 'spark.executor.memoryOverhead'.
19/04/23 12:07:11 ПРЕДУПРЕЖДЕНИЕ SparkConf: Конфигурационный ключ 'spark.scheduler.listenerbus.eventqueue.size' устарел в Spark 2.3 и может быть удален в будущем. Пожалуйста, используйте новый ключ «spark.scheduler.listenerbus.eventqueue.capacity».
19/04/23 12:07:11 ПРЕДУПРЕЖДЕНИЕ NativeCodeLoader: невозможно загрузить библиотеку native-hadoop для вашей платформы ... с использованием встроенных классов java, где это применимо
19/04/23 12:07:12 ИНФОРМАЦИЯ RMProxy: подключение к ResourceManager по адресу ip-172-18-29-18.ec2.internal / 172.18.29.18: 8032
19/04/23 12:07:13 INFO Client: Запрос нового приложения из кластера с 4 NodeManager
19/04/23 12:07:13 INFO Client: Проверка того, что наше приложение не запросило более максимальной емкости памяти кластера (491520 МБ на контейнер)
19/04/23 12:07:13 INFO Client: выделит AM-контейнер с 22000 МБ памяти, включая 2000 МБ
19/04/23 12:07:13 INFO Client: Настройка контекста запуска контейнера для нашего AM
19/04/23 12:07:13 INFO Client: Настройка среды запуска для нашего контейнера AM
19/04/23 12:07:13 INFO Client: Подготовка ресурсов для нашего контейнера AM
19/04/23 12:07:14 WARN Клиент: не задан ни spark.yarn.jars, ни spark.yarn.archive, а просто загружает библиотеки в SPARK_HOME.
19/04/23 12:07:16 INFO Client: загрузка файла ресурса: /mnt/tmp/spark-9e521492-1bdf-4115-a0d1-d3c278f7058f/spark_libs__3546840914405417444.zip -> hdfs: // ip-172- 18-29-18.ec2.internal: 8020 / пользователя / Ливия / .sparkStaging / application_1556020828433_0008 / __ spark_libs__3546840914405417444.zip
19/04/23 12:07:17 INFO Client: загрузка файла ресурса: /usr/lib/livy/rsc-jars/netty-all-4.0.37.Final.jar -> hdfs: // ip-172-18 -29-18.ec2.internal: 8020 / пользователя / Ливия / .sparkStaging / application_1556020828433_0008 / Нетти-все-4.0.37.Final.jar
19/04/23 12:07:17 INFO Client: Загрузка файла ресурса: /usr/lib/livy/rsc-jars/livy-rsc-0.5.0-incubating.jar -> hdfs: // ip-172-18 -29-18.ec2.internal: 8020 / пользователь / Ливия / .sparkStaging / application_1556020828433_0008 / Ливия-RSC-0.5.0-incubating.jar
19/04/23 12:07:17 INFO Client: Загрузка файла ресурса: /usr/lib/livy/rsc-jars/livy-api-0.5.0-incubating.jar -> hdfs: // ip-172-18 -29-18.ec2.internal: 8020 / пользователь / Ливия / .sparkStaging / application_1556020828433_0008 / Ливия-апи-0.5.0-incubating.jar
19/04/23 12:07:17 Клиент INFO: загрузка файла ресурса: /usr/lib/livy/repl_2.11-jars/livy-core_2.11-0.5.0-incubating.jar -> hdfs: // ip -172-18-29-18.ec2.internal: 8020 / пользователь / Ливия / .sparkStaging / application_1556020828433_0008 / Ливия-core_2.11-0.5.0-incubating.jar
19/04/23 12:07:17 INFO Client: загрузка файла ресурса: /usr/lib/livy/repl_2.11-jars/livy-repl_2.11-0.5.0-incubating.jar -> hdfs: // ip -172-18-29-18.ec2.internal: 8020 / пользователь / Ливия / .sparkStaging / application_1556020828433_0008 / Ливия-repl_2.11-0.5.0-incubating.jar
19/04/23 12:07:17 INFO Client: Загрузка файла ресурса: /usr/lib/livy/repl_2.11-jars/commons-codec-1.9.jar -> hdfs: // ip-172-18-29 -18.ec2.internal: 8020 / пользователь / Ливия / .sparkStaging / application_1556020828433_0008 / Обще-кодек-1.9.jar
19/04/23 12:07:17 INFO Client: загрузка файла ресурса: /etc/spark/conf/hive-site.xml -> hdfs: //ip-172-18-29-18.ec2.internal: 8020 /user/livy/.sparkStaging/application_1556020828433_0008/hive-site.xml
19/04/23 12:07:17 INFO Client: Загрузка файла ресурса: /usr/lib/spark/R/lib/sparkr.zip#sparkr -> hdfs: //ip-172-18-29-18.ec2 .internal: 8020 / пользователя / Ливия / .sparkStaging / application_1556020828433_0008 / sparkr.zip19/04/23 12:07:17 INFO Client: загрузка файла ресурса: /usr/lib/spark/python/lib/pyspark.zip -> hdfs: //ip-172-18-29-18.ec2.internal: 8020 / user / livy / .sparkStaging / application_1556020828433_0008 / pyspark.zip 19/04/23 12:07:17 Клиент INFO: Загрузка файла ресурсов: /usr/lib/spark/python/lib/py4j-0.10.7-src.zip -> hdfs: //ip-172-18-29-18.ec2.internal: 8020 / user / livy / .sparkStaging / application_1556020828433_0008 / py4j-0.10.7-src.zip 19/04/23 12:07: 17 INFO Client: загрузка файла ресурсов: / mnt / tmp / spark-9e521492-1bdf-4115-a0d1-d3c278f7058f / __ spark_conf__8433272661836653995.zip -> hdfs: //ip-172-18-29-18.ec2.internal: 8020/user/livy/.sparkStaging/application_1556020828433_0008/__spark_conf.zip 19/04/23 12:07:17 INFO SecurityManager: изменение вида просмотра: livy 19/04/23 12:07:17 INFO SecurityManager: изменение измененияacls to: livy 19/04/23 12:07:17 INFO SecurityManager: изменение групп acls представления на: 19/04/23 12:07:17 INFO SecurityManager: изменение групп изменения acls на: 19/04/23 12:07: 17 ИНФОРМАЦИЯ SecurityManager: SecurityManager: аутентификация отключена;пользовательский интерфейс отключен;пользователи с разрешениями на просмотр: Set (livy);группы с разрешениями на просмотр: Set ();пользователи с правами на изменение: Set (livy);группы с разрешениями на изменение: Set () 19/04/23 12:07:17 INFO Client: Отправка приложения application_1556020828433_0008 в ResourceManager 19/04/23 12:07:17 INFO YarnClientImpl: Подано приложение application_1556020828433_0008 19/04/23 12:07: 17 ИНФО клиент: отчет приложения для application_1556020828433_0008 (состояние: ПРИНЯТО) 19/04/23 12:07:17 ИНФО клиент: токен клиента: н / Д диагностика: [вт 23 апр. 12:07:17 +0000 2019] приложениеАктивирован, ожидая назначения ресурсов для AM.Детали: AM Partition =;Ресурс раздела =;Абсолютная емкость очереди = 100,0%;Абсолютная используемая емкость очереди = 93,24219%;Абсолютная максимальная емкость очереди = 100,0%;Хост ApplicationMaster: н / д. Порт RPM ApplicationMaster: -1 очередь: время начала по умолчанию: 1556021237796 конечное состояние: НЕопределенный URL-адрес отслеживания: http://ip -172-18-29-18.ec2.internal: 20888 / proxy / application_1556020828433_0008/ пользователь: livy 19/04/23 12:07:17 ИНФОРМАЦИЯ ShutdownHookManager: вызов выключения вызван 19/04/23 12:07:17 ИНФО ShutdownHookManager: удаление каталога / mnt / tmp / spark-a5a3a313-9040-4c1c-b2d2-f51fd429064b 19/04/23 12:07:17 ИНФОРМАЦИЯ ShutdownHookManager: Удаление каталога / mnt / tmp / spark-9e521492-1bdf-4115-a0d1-d3c278f7058f
Блок цитирования
YAR ДиагностикаПриложение application_1556020828433_0008 было убито пользователем livy в 172.18.29.18