Где хранить YAML-файлы SparkApplication в кластере Kubernetes? - PullRequest
Новая
       37

Где хранить YAML-файлы SparkApplication в кластере Kubernetes?

0 голосов
/ 18 февраля 2020

Я использую схему Helm для развертывания Spark Operator в GKE. Затем я определяю SparkApplication спецификацию в файле YAML. Но после прочтения Руководства пользователя я все еще не понимаю:

  1. Где хранить SparkApplication YAML-файлы в кластере Kubernetes или в хранилище Google?
  2. можно / можно развернуть их вместе с диаграммой Spark Operator Helm в контейнере Spark Master?
  3. Это хороший способ загрузить SparkApplication конфигурации в Google Storage и затем запустить kubectl apply -f <YAML GS file path>

Каковы рекомендации по хранению SparkApplication конфигураций в кластере Kubernetes или GS, которые я могу пропустить?

1 Ответ

0 голосов
/ 19 февраля 2020

Чтобы ответить на ваши вопросы:

  1. Существует множество возможностей для хранения ваших YAML файлов. Вы можете хранить его локально на своем ноутбуке P C или в облаке. Если вы зайдете дальше в эту топи c, синхронизация ваших файлов YAML с системой контроля версий (например, Git) будет одним из лучших вариантов, поскольку у вас будет полная история изменений с возможностью проверки изменений, которые вы внесли. и откат, если что-то не получилось. Главное, чтобы kubectl требовался доступ к этим файлам.

  2. В Кубернетесе нет такого понятия, как главный контейнер. Есть мастер-узел. Главный узел - это машина, которая контролирует и управляет набором рабочих узлов (время выполнения рабочих нагрузок). Пожалуйста, ознакомьтесь с официальной документацией о компонентах Kubernetes .

  3. Вы можете поставить свой YAML файлов в вашем хранилище Google (ведро). Но вы не сможете выполнить команду способом kubectl apply -f FILE. kubectl не сможет правильно интерпретировать расположение файла, как gs://NAME_OF_THE_BUCKET/magical-deployment.yaml.

    Один из способов запустить kubectl apply -f FILE_NAME.yaml - сохранить его локально и синхронизировать снаружи.

    Вы можете получить доступ к данным внутри корзины через gsutil. Вы можете попытаться повозиться с gsutil cat gs://NAME_OF_THE_BUCKET/magical-deployment.yaml и попытаться перенаправить его в kubectl, но я бы не рекомендовал такой подход.

    Пожалуйста, обратитесь к gsutil инструменту документации в этом случае и имейте в виду:

    Команда gsutil cat не вычисляет контрольную сумму загруженных данных , Поэтому мы рекомендуем пользователям либо выполнить собственную проверку выходных данных gsutil cat, либо использовать gsutil cp или rsyn c (оба из которых выполняют проверку целостности автоматически).

    - https://cloud.google.com/storage/docs/gsutil/commands/cat

Дайте мне знать, если у вас есть какие-либо вопросы к этому.

...