Будет ли DataProc Presto автоматически выбирать новые узлы? - PullRequest
2 голосов
/ 10 мая 2019

У меня есть кластер DataProc с 10 узлами и установленным Presto.Функция автоматического масштабирования кластера включена.Интересно, когда Presto работает и кластер масштабируется, сможет ли Presto автоматически подобрать и использовать дополнительные узлы?Я не нашел ответа в документе Google.

Меня беспокоит то, что мне нужно вручную перезапустить Presto, поскольку это противоречит цели автоматического масштабирования.Я надеюсь, что кластер и автомасштабирование, когда Presto получает большую работу.

1 Ответ

4 голосов
/ 10 мая 2019

Presto автоматически подберет новые узлы при масштабировании кластера.

Однако имейте в виду, что автоматическое масштабирование Dataproc в настоящее время поддерживает только масштабирование на основе метрик YARN (см. документы ).Ваш кластер не будет автоматически масштабироваться в зависимости от загрузки запроса Presto, а будет загружен в YARN.

...