Автономный планировщик apache spark - зачем драйверу все ядро ​​в режиме «кластера»? - PullRequest
0 голосов
/ 27 июня 2019

В режиме развертывания клиента «spark» драйвер spark не использует ядра, а только приложения spark. Но почему в режиме «кластер» искровому драйверу нужно ядро ​​для себя?

Ответы [ 2 ]

0 голосов
/ 28 июня 2019

Ядро в контексте Spark отличается от ядра ЦП.Это просто единица вычислений с заданным количеством оперативной памяти.Ядро необходимо для запуска любого процесса.Драйвер должен координировать задачи Spark в кластере.В действительности, он, скорее всего, потребляет крошечную долю процессора и, вероятно, около 1-2 ГБ памяти.

0 голосов
/ 27 июня 2019

В режиме клиента машина, отправляющая задание , является драйвером.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...