Sparklyr k8s gClouid - стручки не работают - PullRequest
Новая
       23

Sparklyr k8s gClouid - стручки не работают

0 голосов
/ 04 февраля 2020

все
Как видно из названия, мне было бы любопытно понять, почему я не могу подключиться через Sparklyr к кластерам gCloud с помощью kubernetes.

Шаги по настройке системы были следующими:

  • создание проекта на gCloud (бесплатная версия 300 долларов)
  • Установка Cloud SDK на MacOS
  • Установка Бинарный файл Kubectl с curl на MacOS
  • Docker установка
  • По терминалу :
  • настроить кластер
    gcloud config set compute/zone us-central1-f gcloud container clusters create spark-on-gke --machine-type n1-standard-2
  • привязать администратора кластера к электронная почта
    kubectl create clusterrolebinding user-admin-binding --clusterrole=cluster-admin --user=pesca@gmail.com kubectl create clusterrolebinding --clusterrole=cluster-admin --serviceaccount=default:default spark-admin
  • Из R подключитесь к MASTER_IP, импортируя изображение publi c, предлагаемое jluraschi
    remotes::install_github("rstudio/sparklyr”); library(sparklyr) sc <- spark_connect(config = spark_config_kubernetes( "k8s://https://<k8s-ip>", account = "default", image = "docker.io/jluraschi/spark:sparklyr", version = "2.4"))

И появляется следующая ошибка: Ошибка сервера (NotFound): модули "sparklyr-c27317e4b89" не найдены

1 Ответ

0 голосов
/ 18 февраля 2020

Большое спасибо за ваш ответ!
В конце кода вы также найдете скриншоты конфигурации модуля, сделанные с помощью gcloud. Вместо этого вот результаты с терминала: 

MBP-di-Simone:~ simone$ kubectl get services
NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
kubernetes   ClusterIP   10.3.240.1   <none>        443/TCP   13d

MBP-di-Simone:~ simone$ kubectl get pods --all-namespaces
NAMESPACE     NAME                                                     
READY   STATUS    RESTARTS   AGE
default       alpine                                                   1/1     Running   0          13d
kube-system   event-exporter-v0.2.4-5f88c66fb7-67pb6                   2/2     Running   0          13d
kube-system   fluentd-gcp-scaler-59b7b75cd7-mbgxj                      1/1     Running   0          13d
kube-system   fluentd-gcp-v3.2.0-9dlx8                                 2/2     Running   0          5d8h
kube-system   fluentd-gcp-v3.2.0-9w6t2                                 2/2     Running   0          5d8h
kube-system   fluentd-gcp-v3.2.0-dwrlz                                 2/2     Running   0          5d8h
kube-system   heapster-5f6cdd4bd-qmlhb                                 3/3     Running   0          13d
kube-system   kube-dns-79868f54c5-5sqvb                                4/4     Running   0          13d
kube-system   kube-dns-79868f54c5-g9h4q                                4/4     Running   0          13d
kube-system   kube-dns-autoscaler-bb58c6784-9bbcg                      1/1     Running   0          13d
kube-system   kube-proxy-gke-spark-on-gke-default-pool-7fad1be1-2279   1/1     Running   0          13d
kube-system   kube-proxy-gke-spark-on-gke-default-pool-7fad1be1-70hn   1/1     Running   0          13d
kube-system   kube-proxy-gke-spark-on-gke-default-pool-7fad1be1-pnpj   1/1     Running   0          13d
kube-system   l7-default-backend-fd59995cd-8tzjv                       1/1     Running   0          13d
kube-system   metrics-server-v0.3.1-57c75779f-gz776                    2/2     Running   0          13d
kube-system   prometheus-to-sd-ktvbk                                   2/2     Running   0          13d
kube-system   prometheus-to-sd-tmwkw                                   2/2     Running   0          13d
kube-system   prometheus-to-sd-xxx4p                                   2/2     Running   0          13d

MBP-di-Simone:~ simone$ kubectl describe pods [sparklyr-2e62d04d5dd]
Error from server (NotFound): pods "[sparklyr-2e62d04d5dd]" not found
MBP-di-Simone:~ simone$

кластер gCloud a
кластер gCloud b
разрешение кластера gCloud
метка кластера gCloud

...