У меня есть работа pyspark с использованием spark 2.4.0, которая висит в блоках 198/200.Когда я смотрю на то, что происходит с этими двумя блоками, они говорят «РАБОТАЯ» и находятся на одном узле.Если я захожу на страницу журнала stderr в веб-браузере (http://node2:8081/logPage/?appId=app-20181128112202-0000&executorId=2&logType=stderr),, ошибка:
"Ошибка: неверный каталог журнала /usr/local/spark/spark-2.4.0-bin-hadoop2.7 / work / app-20181128112202-0000 / 2 / "
Если я перехожу к этому каталогу папок на этом узле, папка / 2 / отсутствует, но есть/ 3 / folder. Это этап 16. Поэтому узел уже выполнил кучу работы на этом этапе.
Это происходит только на одном из узлов. Я также очистил рабочий каталог на всехиз узлов, чтобы быть уверенным.
Я в недоумении, почему он пытается изменить stdout на / 2 / from / 3 / - любые мысли о том, как я могу отладить это?
У меня также возникают проблемы с поиском места назначения папки в рамках работы: /usr/local/spark/spark-2.4.0-bin-hadoop2.7/work/app-20181129134852-0000/2 /
Редактировать
Я заметил, что получаю заблокированные потоки, которые, кажется, блокируют друг друга. 
Нить 33 блочнаяd на 224, а 224 заблокировано на 33. Я не уверен, как выяснить, почему они блокируются - похоже, что-то связано с памятью, но я не совсем уверен, как выяснить, что это такое ...