У меня установлена кластерная установка Spark 2.3.1 без ambari на HDP 2.6.2.Я выполнил все необходимые настройки в соответствии с инструкциями по установке spark и non ambari.
Теперь, когда я отправляю задание spark в кластерном режиме Yarn, я вижу огромный промежуток в 10-12 минут между заданиями, и я делаю это.не вижу ошибок или операций, выполняемых между заданиями.Прикрепленный снимок экрана показывает задержку около 10 минут между заданиями, и это приводит к ненужной задержке при завершении задания Spark. Задание Spark 2.3.1, отправленное в режиме кластера Yarn
Я проверил журналы Yarn и интерфейс Spark и не вижу ошибок или каких-либо операций, зарегистрированных с отметкой времени между заданиями.
Просматривая хронологию событий, я вижу разрыв в 10 + минут между заданиями. Разрыв во времени событий между заданиями
Нужна помощь в предоставлении указателей, чтобы узнать, как решить эту проблему и повысить производительность задания.
С уважением, Vish