В одном из моих приложений я включил динамическое распределение с искровым потоком.Это работает нормально, если убедиться, что если какие-либо исполнители бездействуют и если у нас не слишком много задержек в приеме, динамическое распределение убивает неиспользованных исполнителей.Это достаточно даже для того, чтобы не убить всех исполнителей, оставить хотя бы одного (для работающего приемника).Но иногда, когда в очереди слишком много приложений, YARN опережает контейнеры, выделенные моему приложению, и даже убивает всех исполнителей, включая одного работающего получателя.Таким образом, мое приложение переходит в длительный режим, когда работает только драйвер, ожидающий выполнения задач, но ничего не обрабатывается.Как мы справимся с этим сценарием