dask-yarn в кластере: невозможно подключиться к приложению - PullRequest
Новая
       21

dask-yarn в кластере: невозможно подключиться к приложению

0 голосов
/ 12 июня 2019

Я пытаюсь использовать dask-yarn для распределения заданий Python в кластере.

Я использую следующий код для создания кластера: 

from dask_yarn import YarnCluster

cluster = YarnCluster(environment='.conda/envs/myconda', worker_vcores=2, worker_memory='4GB', n_workers=4)
client = Client(cluster)
cluster.shutdown()

Я бы предположил, что вам понадобится дополнительная информация, чтобы убедиться, что она связана с пряжей.

Сообщение об ошибке показано ниже: 

---------------------------------------------------------------------------
ConnectionError                           Traceback (most recent call last)
<ipython-input-16-9de74c663703> in <module>()
----> 1 cluster = YarnCluster('myconda.tar.gz')

~/.conda/envs/myconda/lib/python3.6/site-packages/dask_yarn/core.py in __init__(self, environment, n_workers, worker_vcores, worker_memory, worker_restarts, worker_env, scheduler_vcores, scheduler_memory, deploy_mode, name, queue, tags, user, skein_client)
    293                                    user=user)
    294 
--> 295         self._start_cluster(spec, skein_client)
    296 
    297     @cached_property

~/.conda/envs/myconda/lib/python3.6/site-packages/dask_yarn/core.py in _start_cluster(self, spec, skein_client)
    373             app = skein_client.submit_and_connect(spec)
    374             try:
--> 375                 scheduler_address = app.kv.wait('dask.scheduler').decode()
    376                 dashboard_address = app.kv.get('dask.dashboard')
    377                 if dashboard_address is not None:

~/.conda/envs/myconda/lib/python3.6/site-packages/skein/kv.py in wait(self, key, return_owner)
    653                 return res
    654 
--> 655             event = event_queue.get()
    656 
    657         return event.result if return_owner else event.result.value

~/.conda/envs/myconda/lib/python3.6/site-packages/skein/kv.py in get(self, block, timeout)
    279         if isinstance(out, Exception):
    280             self._exception = out
--> 281             raise out
    282         return out
    283 

ConnectionError: Unable to connect to application
```python

1 Ответ

0 голосов
/ 17 июня 2019

Вероятно, это связано с тем, что ваше приложение не запустилось (и, следовательно, не может подключиться).Я рекомендую просмотреть журналы: 

$ yarn logs -applicationId <YOUR APPLICATION ID>

Из вышеприведенного кода видно, что одна странная вещь - это заданная среда conda.Похоже, вы передаете путь к каталогу, а не в архивную среду - вы можете прочитать документацию здесь: http://yarn.dask.org/en/latest/environments.html.

...