Я унаследовал несколько искровых работ, которые демонстрируют странное поведение. Кажется, что задание успешно завершено в Yarn, но когда я просматриваю пользовательский интерфейс Spark, я вижу, что некоторые задачи все еще выполняются и будут выполняться в течение нескольких часов.
Журналы показывают, что spark.sql.broadcastTimeout было превышено, но это не кажется, чтобы прекратить работу. По историческим причинам задание отправляется в клиентском режиме, а граничный узел, на котором работает драйвер, показывает высокую загрузку ЦП и памяти.
Кто-нибудь видел такое поведение раньше - почему эти задачи 'zomb ie' не завершается при превышении spark.sql.broadcastTimeout?