Настройка активной учетной записи gcloud в контейнере Docker - PullRequest
Новая
       16

Настройка активной учетной записи gcloud в контейнере Docker

0 голосов
/ 06 марта 2019

В настоящее время я настраиваю Kubeflow Pipeline на GKE.Цель состоит в том, чтобы запустить обучающий проект на движке ML, а затем выполнить его в GKE.

Тренировочный проект запускается в контейнере Docker.(Каждый шаг в конвейере должен быть контейнером.)

Я получаю следующую ошибку при запуске контейнера: 

ERROR: (gcloud.ml-engine.jobs.submit.training) You do not currently have an active account selected.
Please run:

  $ gcloud auth login

to obtain new credentials, or if you have already logged in with a
different account:

  $ gcloud config set account ACCOUNT

to select an already authenticated account to use.

Контейнеры Docker получают учетные данные через учетную запись службы, как предложено в следующий ответ . 

FROM tensorflow/tensorflow:1.8.0-devel-gpu-py3

RUN apt-get update -y && apt-get install --no-install-recommends -y -q ca-certificates python-dev python-setuptools wget unzip git


# Components to run ML Engine job on cluster
RUN cd / && \
    wget -nv https://dl.google.com/dl/cloudsdk/release/google-cloud-sdk.zip && \
    unzip -qq google-cloud-sdk.zip -d tools && \
    rm google-cloud-sdk.zip && \
    tools/google-cloud-sdk/install.sh --usage-reporting=false \
        --path-update=false --bash-completion=false \
        --disable-installation-options && \
    tools/google-cloud-sdk/bin/gcloud -q components update \
        gcloud core gsutil && \
    tools/google-cloud-sdk/bin/gcloud config set component_manager/disable_update_check true && \
    touch /tools/google-cloud-sdk/lib/third_party/google.py

ENV PATH $PATH:/tools/node/bin:/tools/google-cloud-sdk/bin

RUN mkdir /workdir

COPY . /workdir

RUN export GOOGLE_APPLICATION_CREDENTIALS=/workdir/ml6-sandbox-cdc8cb4bcae2.json

ENTRYPOINT ["bash", "/workdir/ml-engine/train.sh"]

Ошибка находит место в train.sh, где я отправляю обучающую работу: 

gcloud ml-engine jobs submit training $JOB_NAME \
    --job-dir $JOB_DIR \
    --runtime-version 1.8 \
    --python-version 3.5 \
    --module-name trainer.run_train \
    --package-path ./trainer \
    --region $REGION \
    --config=trainer/config.yaml \
    --stream-logs \
    -- \
    --data-dir $DATA_DIR \
    --version $VERSION

В моем run_train.py яПолучаю учетные данные приложения Google: 

os.environ[
        "GOOGLE_APPLICATION_CREDENTIALS"] = '/workdir/ml6-sandbox-cdc8cb4bcae2.json'

Train.sh работает автономно.

1 Ответ

1 голос
/ 06 марта 2019

Вам нужно только установить переменную GOOGLE_APPLICATION_CREDENTIALS env, когда с использованием клиентских библиотек .

Поскольку вы используете CLI gcloud, измените эту строку:

RUN export GOOGLE_APPLICATION_CREDENTIALS=/workdir/ml6-sandbox-cdc8cb4bcae2.json

до 

gcloud auth activate-service-account yourServiceAccount --key-file=/workdir/ml6-sandbox-cdc8cb4bcae2.json

Это позволит зарегистрировать вашу учетную запись службы в качестве активной учетной записи, используемой gcloud.

Кроме того, эта учетная запись службы должнаполучить с соответствующими ролями .

...