невозможно вытащить банку из ведра GCP при выполнении заданий на K8S - PullRequest
Новая
       31

невозможно вытащить банку из ведра GCP при выполнении заданий на K8S

0 голосов
/ 01 апреля 2020

У меня работает свеча на k8s версии 2.4.5. Я сохранил изображения искры в GCS, к которым можно получить доступ через конфигурацию spark.kubernetes.container.image.pullSecrets. Я также храню банку с искровым приложением в корзинах GCP. При публикации корзины c подача искры работает нормально. У меня вопрос, как я могу получить доступ к приватной корзине, есть ли конфигурация для передачи с помощью spark? У меня есть служебная учетная запись, созданная в GCP, а также файл json .key. Ниже приведена команда подачи искры:

bin/spark-submit --master k8s://https://host:port --deploy-mode cluster --name spark-pi --class org.apache.spark.examples.SparkPi --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark-sa --conf spark.executor.instances=3 --conf spark.kubernetes.container.image.pullSecrets=cr-k8s-key --conf spark.kubernetes.container.image=eu.gcr.io/Project-ID/spark-image/spark_2.4.5/spark:0.1.0 https://storage.googleapis.com/Bucket-name/spark-examples_2.11-2.4.5.jar

1 Ответ

1 голос
/ 01 апреля 2020

Я использовал подписанный URL-адрес gsutil для решения этой проблемы. 1. gsutil signurl -d 10m -r eu /home/centos/private-key.json gs: //bucket-name/spark-examples_2.11-2.4.5.jar. (где -r eu - мой регион (европейский мультирегион).

выполнил некоторое преобразование awk: awk -F '\ t' 'FNR == 2 {print $ 4}' по трубопроводу 1-го выхода.

Эта подписанная ссылка может использоваться из любого места (в моем случае на 10 минут) для доступа к объекту корзины.

...