Искра застревает в состоянии РАБОТА

Question

Как правило, мое искровое задание (версия 2.3.1) занимает 1 час, но в некоторых случаях оно продолжается дольше нескольких часов (необходимо вручную завершить кластер EMR).Для таких случаев я вижу одну из задач, застрявшую в консоли Spark.

19/04/10 17:47:21 ИНФО Клиент: отчет о заявке для application_1554890864238_0001 (состояние: РАБОТАЕТ)

В чем может быть причина этого?Любая идея, как отладить проблему?

Я посмотрел на пряжу и контейнерные бревна.Я не нашел какой-либо конкретной причины этого.Эта проблема возникает случайно.

Как один из подозреваемых, я закрываю сеанс spart вручную, но все еще вижу ту же проблему.

    public SparkSession getNewSparkSession(final String appName) {
        return SparkSession
                .builder()
                .appName(appName)
                .enableHiveSupport()
                .getOrCreate();
    }

finally {
            sparkSession.stop();
            log.info("Spark session stopped...");
        }