Как использовать Python Ray для независимых компьютеров (каждый из которых имеет свое имя пользователя и пароль) через Интернет (распределенные вычисления с IP-адресом)?

Question

Я знаю базовое использование ray в одном головном узле (компьютере, на котором работает пользователь) и многих рабочих узлах (других компьютерах). Это можно сделать, заполнив файл yaml для новейшего луча 0.8.

Однако теперь предположим, что у меня есть три независимых компьютера, и у каждого из которых есть независимый ip, имя пользователя и пароль. Я хотел бы подключиться к одному из них и использовать его в качестве головного узла, а два других - в качестве рабочих узлов. Но я не могу найти никаких инструкций по лучевой документации для этого.

Кто-нибудь знает, как заставить это работать на луче?

Answer 1

Как вы можете использовать Ray на разных машинах, которые уже настроены с IP-адресами и именами пользователей, описано здесь:

https://ray.readthedocs.io/en/latest/using-ray-on-a-cluster.html

Таким образом, вам нужно запустить ray start на всех узлах с разными параметрами, независимо от того, должен ли узел быть головным или рабочим.

В этом сценарии также можно использовать автоматический скейлер Ray, как это сделать, описано здесь: https://ray.readthedocs.io/en/latest/autoscaling.html#quick-start-private-cluster

Дайте нам знать, если у вас есть еще вопросы!