Apache Spark работает на YARN с фиксированным распределением - PullRequest
0 голосов
/ 25 сентября 2018

То, что происходит прямо сейчас, - это то, что YARN просто получает нескольких исполнителей с одной искровой работы и передает их другой искровой работе.В результате это искровое задание встречается с ошибкой и умирает.

Есть ли способ или существующая конфигурация, в которой определенное задание искры, работающее на YARN, имеет фиксированное распределение ресурсов?

1 Ответ

0 голосов
/ 26 сентября 2018

Исправление распределения ресурсов - старая концепция, которая не дает преимущества правильного использования ресурсов.Динамическое распределение ресурсов является расширенной / ожидаемой особенностью YARN.Итак, я рекомендую вам посмотреть, что происходит на самом деле.Если задание уже выполняется, YARN не берет ресурсы и передает их другим.Если ресурсы недоступны, то второе задание будет поставлено в очередь, и ресурсы не будут внезапно извлечены из первого задания.Причина в том, что контейнеры имеют комбинацию памяти и процессора.Если память выделяется для другой работы, то в основном это означает, что JVM 1-й работы теряется навсегда.ЯРН не делает то, что упомянул.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...