У меня есть сценарий, в котором все контейнеры (около 50) должны быть все время запущены для запросов искры в реальном времени.
Даже если я установил spark.dynamicallocation.minExecutors = 50 . это не раскручивает 50 исполнителей. Он только раскручивает 30 контейнеров, а остальные ядра и память не используются.
Пожалуйста, дайте мне знать, есть ли какие-либо ограничения или способ их устранения.