Я боролся с проблемой, не существовавшей несколько дней go, производительность Spark очень плоха по сравнению с некоторыми днями go (время выполнения увеличено с минут до часов, тот же код, те же исходные данные, те же конфиги), просматривая логи и веб-интерфейс spark, я вижу множество:
- фьючерсов с тайм-аутом
- локальность в основном для локальных стоек (по сравнению с локальными узлами, как некоторые дни go) )
- Пытался выяснить причину потери несуществующего исполнителя
- Множество неудачных задач на вкладке "Исполнители".
Что-то интересное в том, что сеансы, проходящие через livy, ведут себя лучше, чем сеансы, которые go непосредственно через YARN.
Каковы возможные причины такого поведения?