Конструктор YarnCluster висит в сумеречной пряже - PullRequest
Новая
       6

Конструктор YarnCluster висит в сумеречной пряже

0 голосов
/ 20 сентября 2018

Я использую dask-yarn версии 0.3.1.Следуя базовому примеру на https://dask -yarn.readthedocs.io / en / latest / .

from dask_yarn import YarnCluster
from dask.distributed import Client

# Create a cluster where each worker has two cores and eight GB of memory
cluster = YarnCluster(environment='environment.tar.gz',
                  worker_vcores=2,
                  worker_memory="8GB")

Приложение успешно отправлено в кластер, но элемент управления не возвращается в консоль после конструктора YarnCluster.Ниже приведен окончательный результат запуска. 

18/09/19 16:14:24 INFO skein.Daemon: Submitting application...
18/09/19 16:14:24 INFO impl.YarnClientImpl: Submitted application application_1534573350864_34823
18/09/19 16:14:27 INFO skein.Daemon: Notifying that application_1534573350864_34823 has started. 1 callbacks registered.
18/09/19 16:14:27 INFO skein.Daemon: Removing callbacks for application_1534573350864_34823

Одна вещь, которую я заметил при первоначальном тестировании из контейнера Docker, была исключением, связанным с тем, что grpc не анализирует переменную среды http_proxy.При работе с выделенного краевого узла кластера я не вижу этого исключения, но также не вижу элемента управления, возвращенного после конструктора.

...