Я хотел бы настроить автономный кластер apache spark, используя два разных компьютера (windows 10) одной и той же сети Wi-Fi в качестве подчиненных.
Я могу успешно настроить мастер с помощью Windows bash (подсистема Linux) и подключить подчиненный с той же машины.
Проблема в том, что я пытаюсь подключить подчиненное устройство с другой машины (тот же WiFi), используя локальный IP-адрес мастера. Я даже временно открыл все порты обеих машин и mamaged, чтобы просмотреть интерфейс искры от подчиненной машины, используя локальный ip мастера. Но все еще пытаться настроить slave на master-local-ip: 7077 не сработало.
Я считаю, что правильный путь - использовать ssh без пароля между ними, но я не уверен, как настроить его для локальных IP-адресов с помощью Windows bash. Я попытался создать ключ, и когда я выполнил ssh-copy-id, соединение отказалось.
Есть предложения?