Нужно ли главному узлу в кластере (Apache Spark) большой объем оперативной памяти? - PullRequest
0 голосов
/ 16 мая 2019

Учитывая, что 3 машины (с различными аппаратными характеристиками) доступны для использования в кластере, мне трудно разобраться, какой из них следует использовать в качестве главного узла.

После некоторого поиска онСтало ясно, что главный узел не используется для выполнения задач, скорее он отвечает за выполнение процесса драйвера.Тем не менее, этот ответ указывает на то, что главному узлу может потребоваться большой объем оперативной памяти.

Ниже приведены аппаратные характеристики доступных компьютеров:

CPU:    AMD Ryzen 5 2600 (6 cores @3,4GHz)
RAM:    16GB Corsair Vengeance (@2400MHZ)
DISK:   240GB SSD NVMe + 750GB HDD (@7200rpm)
GPU:    Geforece GTX 1050Ti (4GB 128-Bit GDDR5)

CPU:    Intel i7-4700MQ CPU (4 cores @2.40GHz)
RAM:    8GB Corsair Vengeance (@1600MHZ)
DISK:   SSD 128GB
GPU:    Nvidia GeForce GTX 765M (2GB 128-Bit GDDR5)

CPU:    Intel i5
RAM:    4GB @1600MHZ
DISK:   HDD 1TB (@5600rpm)
GPU:    Intel Integrated Graphics

Как видите, 3 машины варьируются от отличных до обычных.Я был склонен выбрать ноутбук Intel i5 в качестве главного узла, поскольку это меньший компьютер, но, учитывая опасения, что, возможно, мастер-узел должен иметь большой объем оперативной памяти, я зашел в тупик.

Таким образом,Я надеюсь, что кто-то может помочь мне ответить, какая машина должна использоваться в качестве главного узла.Спасибо!

...