Драйвер Spark получает OutOfMemory

Question

Я использую искровой кластер, где я сталкиваюсь с OutOfMemory в программе драйвера.но после того, как это произойдет, приложение еще долго будет удерживать ресурсы, а другие задания в очереди пряжи будут голодать.В чем причина того, что ресурсы не высвобождаются, как только ударил OutOfMemory и приложение было убито?

Answer 1

Недостаточно информации, чтобы ответить, но позвольте мне попробовать. Пряжа попытается повторить попытку приложения 5 раз по умолчанию. Вы можете изменить попытку на 1 или меньшее число и проверить его.