Можно ли назначить хосты для задач Spark с помощью регулярных выражений - PullRequest
0 голосов
/ 18 февраля 2019

Spark on yarn mode, в кластере есть узлы, такие как nodeA-xx и nodeB-xx, есть ли какие-либо конфигурации для запуска задач, запущенных на узлах с именем nodeA - *

1 Ответ

0 голосов
/ 20 февраля 2019

Если вы используете Capacity Scheduler, вам нужно включить функцию, называемую метками узла. Ярлыка узлов YARN не позволит вам указать регулярное выражение.Вместо этого вам нужно будет пометить узлы, затем указать эту метку как ресурс для очереди, а затем, наконец, запустить задание для определенной очереди.

...