работа сразу завершается при отправке приложения - PullRequest
Новая
       26

работа сразу завершается при отправке приложения

0 голосов
/ 03 октября 2019

при отправке искрового задания в автономном режиме оно сразу же завершает работу, сообщая об ошибке ниже 

ERROR CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM tdown

Я испробовал несколько вариантов, указав приведенную ниже конфигурацию для OOM 

.set("spark.sql.warehouse.dir","/home/hive/spark-2.4.4-bin-hadoop2.7/")\
            .set("spark.driver.memoryOverhead","4096m")\
            .set("spark.executor.memoryOverhead","4096m")\

Изначально все работало гладкоОднако через некоторое время он начинает создавать эту ошибку.

Пожалуйста, предложите, где я пропускаю. У меня так много вариантов в конфигурации.

...