Вдохновленный этим руководством: https://mycourses.aalto.fi/pluginfile.php/218612/mod_resource/content/4/Tutorial%20Hadoop%20and%20Spark-final.pdf Я пытаюсь настроить свой собственный кластер Spark-Hadoop.Но из-за моей низкой производительности ПК (и некоторых личных причин) у меня есть другая облачная архитектура.
У меня есть 3 рабочих узла:
- одна VM (VM_master) Linux на одном ноутбуке(ПК1 windows);который будет основным узлом (даже драйвером в режиме клиента)
- 2 ВМ (VM1 и VM2) на другом ноутбуке (PC2 macintosh :(); это будут мои подчиненные узлы.
Чтобы настроить кластер, рабочие должны иметь возможность общаться через ssh. Поэтому я настроил 2 подчиненных виртуальных машины для использования NAT с переадресацией портов (для VM1: 3022-> 22 и VM2: 4022-> 22).
Теперь с VM_master (PC1) я могу подключить VM1 (PC2) или VM2 с помощью следующего кода:
ssh -p 3022 192.168.1.11 #Supposing that the private Ip of PC2 is 192.168.1.11
Пока все хорошо! Более того, мне удается создать пару из открытого / секретного ключей, котораяпозвольте мне подключиться от VM_master к VM1 с помощью следующей команды:
ssh -p 3022 laurent@192.168.1.11 #It doesn't request password anymore
1) Как я могу настроить Spark для понимания переадресации портов?Что изменится в строках урока?
Спасибо