Есть ли параметр конфигурации spark, который мы можем передать при отправке заданий через spark-submit, который убьет / не выполнит задание, если он не получит контейнеры в заданное время?Например, если задание запрошено для 8 контейнеров пряжи, которые не могут быть выделены в течение 2 часов, задание будет уничтожено само по себе.
РЕДАКТИРОВАТЬ: у нас есть сценарии запуска заданий spark или MR в кластере.Эта проблема не является основной для заданий MR, поскольку они могут запускаться, даже если доступен 1 контейнер.Также заданиям MR требуется гораздо меньше памяти, поэтому их контейнеры могут быть меньше, поэтому в кластере доступно больше контейнеров.