Pyspark Job зависает для любого действия в режиме пряжи

Question

Я выполняю spark-submit, и когда я выполняю df.show () или выполняю какие-либо действия с фреймом данных, задание зависает в режиме Yarn, оно отлично работает в локальном режиме или в оболочке pyspark.ПРИМЕЧАНИЕ: я пытаюсь запустить выше из Docker, где мой докер действует как Spark Driver

    spark = SparkSession.builder \
        .appName("TEST_APPLICATION") \
        .enableHiveSupport() \
        .getOrCreate()
    l = [('Alice', 1)]
    df = spark.createDataFrame(l, ['name', 'age'])
    df.show()