Не удается запустить кластер dask через SSH - PullRequest
Новая
       5

Не удается запустить кластер dask через SSH

0 голосов
/ 08 ноября 2018

Я пытаюсь запустить кластер dask через SSH, но я сталкиваюсь со странными ошибками, подобными этим: 

Exception in thread Thread-6:
Traceback (most recent call last):
  File "/home/localuser/miniconda3/lib/python3.6/threading.py", line 916, in _bootstrap_inner
    self.run()
  File "/home/localuser/miniconda3/lib/python3.6/threading.py", line 864, in run
    self._target(*self._args, **self._kwargs)
  File "/home/localuser/miniconda3/lib/python3.6/site-packages/distributed/deploy/ssh.py", line 57, in async_ssh
    banner_timeout=20)  # Helps prevent timeouts when many concurrent ssh connections are opened.
  File "/home/localuser/miniconda3/lib/python3.6/site-packages/paramiko/client.py", line 329, in connect
    to_try = list(self._families_and_addresses(hostname, port))
  File "/home/localuser/miniconda3/lib/python3.6/site-packages/paramiko/client.py", line 200, in _families_and_addresses
    hostname, port, socket.AF_UNSPEC, socket.SOCK_STREAM)
  File "/home/localuser/miniconda3/lib/python3.6/socket.py", line 745, in getaddrinfo
    for res in _socket.getaddrinfo(host, port, family, type, proto, flags):
socket.gaierror: [Errno -2] Name or service not known

Я запускаю кластер так: 

$ dask-ssh --ssh-private-key ~/.ssh/cluster_id_rsa \
      --hostfile ~/dask-hosts.txt \
      --remote-python "~/miniconda3/bin/python3.6"

Мой dask-hosts.txt выглядит так: 

localuser@127.0.0.1
remoteuser@10.10.4.200
...
remoteuser@10.10.4.207

Я получаю ту же ошибку с / без строки localhost.

Я проверил настройку ssh, я могу войти на все узлы, используя настройку с открытым ключом (ключ незашифрован, чтобы избежать подсказок по расшифровке). Чего мне не хватает?

1 Ответ

0 голосов
/ 11 ноября 2018

Ошибка указывает на то, что разрешение имени является виновником. Скорее всего, это происходит из-за включения имен пользователей в ваш dask-hosts.txt. Согласно его документации , файл хоста должен содержать только имена хостов / IP-адреса:

–hostfile PATH Текстовый файл с именами хостов / IP-адресами

Вы можете использовать --ssh-username для установки имени пользователя (хотя только одно).

...