Как развернуть адаптивный кластер dask-kubernetes на экземпляре aws kubernetes - PullRequest
Новая
       84

Как развернуть адаптивный кластер dask-kubernetes на экземпляре aws kubernetes

0 голосов
/ 19 сентября 2019

Я пытаюсь развернуть адаптивный кластер dask kubernetes в моем экземпляре aws K8s (я хочу использовать найденный интерфейс kubeControl здесь ).Мне неясно, где и как я выполняю этот код так, чтобы он был активен в моем существующем кластере.В дополнение к этому я хочу иметь правило входа, чтобы другой имеющийся у меня экземпляр ec2 мог подключаться к кластеру и выполнять код в VPC aws для поддержания безопасности и производительности сети.

До сих пор мне удалось запустить работающий кластер k8s, на котором запущены dask и jupyterhub.Я использую примерную диаграмму руля, найденную здесь , которая ссылается на изображение докера здесь .Я вижу это изображение даже не устанавливает dask-kubernetes.С учетом вышесказанного я могу подключиться к этому кластеру из моего другого экземпляра ec2, используя открытый сервер AWS dns, и выполнить собственный код, но это не нативный кластер kubernetes dask.

Я работал над изменениемразверните yaml для kubernetes, но мне неясно, что мне нужно изменить, чтобы он использовал надлежащие кластеры / планировщики kubernetes.Я знаю, что мне нужно изменить образ докера, который я использую для установки в dask-kubernetes, но это все равно мне не помогает.Ниже приведен пример схемы развертывания руля, который я использую 

---
# nameOverride: dask
# fullnameOverride: dask

scheduler:
  name: scheduler
  image:
    repository: "daskdev/dask"
    tag: 2.3.0
    pullPolicy: IfNotPresent
    # See https://kubernetes.io/docs/tasks/configure-pod-container/pull-image-private-registry/
    pullSecrets:
    #  - name: regcred
  replicas: 1
  # serviceType: "ClusterIP"
  # serviceType: "NodePort"
  serviceType: "LoadBalancer"
  servicePort: 8786
  resources: {}
  #  limits:
  #    cpu: 1.8
  #    memory: 6G
  #  requests:
  #    cpu: 1.8
  #    memory: 6G
  tolerations: []
  nodeSelector: {}
  affinity: {}

webUI:
  name: webui
  servicePort: 80

worker:
  name: worker
  image:
    repository: "daskdev/dask"
    tag: 2.3.0
    pullPolicy: IfNotPresent
    # dask_worker: "dask-cuda-worker"
    dask_worker: "dask-worker"
    pullSecrets:
    #  - name: regcred
  replicas: 3
  aptPackages: >-
  default_resources:  # overwritten by resource limits if they exist
    cpu: 1
    memory: "4GiB"
  env:
  #  - name: EXTRA_CONDA_PACKAGES
  #    value: numba xarray -c conda-forge
  #  - name: EXTRA_PIP_PACKAGES
  #    value: s3fs dask-ml --upgrade
  resources: {}
  #  limits:
  #    cpu: 1
  #    memory: 3G
  #    nvidia.com/gpu: 1
  #  requests:
  #    cpu: 1
  #    memory: 3G
  #    nvidia.com/gpu: 1
  tolerations: []
  nodeSelector: {}
  affinity: {}

jupyter:
  name: jupyter
  enabled: true
  image:
    repository: "daskdev/dask-notebook"
    tag: 2.3.0
    pullPolicy: IfNotPresent
    pullSecrets:
    #  - name: regcred
  replicas: 1
  # serviceType: "ClusterIP"
  # serviceType: "NodePort"
  serviceType: "LoadBalancer"
  servicePort: 80
  # This hash corresponds to the password 'dask'
  password: 'sha1:aae8550c0a44:9507d45e087d5ee481a5ce9f4f16f37a0867318c'
  env:
  #  - name: EXTRA_CONDA_PACKAGES
  #    value: "numba xarray -c conda-forge"
  #  - name: EXTRA_PIP_PACKAGES
  #    value: "s3fs dask-ml --upgrade"
  resources: {}
  #  limits:
  #    cpu: 2
  #    memory: 6G
  #  requests:
  #    cpu: 2
  #    memory: 6G
  tolerations: []
  nodeSelector: {}
  affinity: {}
...