Я пытаюсь настроить свой первый кластер Spark, но у меня возникли проблемы с настройкой количества ядер, исполнителей, памяти исполнителя и так далее. при разных конфигурациях я получаю разные результаты по времени.
У меня есть один P C с этой информацией:
intel core i5 3570 (3.40 GHz)
Cores: 4
logical Processors: 4
RAM 12 GB
OS: linux mint
У меня есть один ноутбук с этой информацией:
intel core i5 3230 (2.60 GHz)
Cores: 2
logical Processors: 4
RAM 6 GB
OS: linux mint
Я хочу создать кластер с оба моих компьютера. например 1 хозяин и 2 раб. P C будет выполнять роль главного и подчиненного, а также только для ноутбука.
Я пробовал разные конфигурации и получал разное время выполнения.
Важным моментом является то, что компьютеры действительно не работают параллельно. Я имею в виду, что только один подчиненный с полной мощностью ядер работает, а другой просто разделяет его память, но процессор не участвует в выполнении. и в основном раб, который на Р C работает. не ноутбук.
Я действительно не могу найти какие-либо оптимальные конфигурации с моими 2 компьютерами. Кто-нибудь может предложить мне оптимальные конфигурации? я имею в виду количество ядер, количество ядер исполнителя, количество исполнителей, память для каждого исполнителя или, в частности, количество ядра работника для настройки ??
я использую spark-submit для отправки файла jar и использую автономный кластер управляющий делами. Режим развертывания - клиент