В настоящее время я настраиваю Kubeflow Pipeline на GKE.Цель состоит в том, чтобы запустить обучающий проект на движке ML, а затем выполнить его в GKE.
Тренировочный проект запускается в контейнере Docker.(Каждый шаг в конвейере должен быть контейнером.)
Я получаю следующую ошибку при запуске контейнера:
ERROR: (gcloud.ml-engine.jobs.submit.training) You do not currently have an active account selected.
Please run:
$ gcloud auth login
to obtain new credentials, or if you have already logged in with a
different account:
$ gcloud config set account ACCOUNT
to select an already authenticated account to use.
Контейнеры Docker получают учетные данные через учетную запись службы, как предложено в следующий ответ .
FROM tensorflow/tensorflow:1.8.0-devel-gpu-py3
RUN apt-get update -y && apt-get install --no-install-recommends -y -q ca-certificates python-dev python-setuptools wget unzip git
# Components to run ML Engine job on cluster
RUN cd / && \
wget -nv https://dl.google.com/dl/cloudsdk/release/google-cloud-sdk.zip && \
unzip -qq google-cloud-sdk.zip -d tools && \
rm google-cloud-sdk.zip && \
tools/google-cloud-sdk/install.sh --usage-reporting=false \
--path-update=false --bash-completion=false \
--disable-installation-options && \
tools/google-cloud-sdk/bin/gcloud -q components update \
gcloud core gsutil && \
tools/google-cloud-sdk/bin/gcloud config set component_manager/disable_update_check true && \
touch /tools/google-cloud-sdk/lib/third_party/google.py
ENV PATH $PATH:/tools/node/bin:/tools/google-cloud-sdk/bin
RUN mkdir /workdir
COPY . /workdir
RUN export GOOGLE_APPLICATION_CREDENTIALS=/workdir/ml6-sandbox-cdc8cb4bcae2.json
ENTRYPOINT ["bash", "/workdir/ml-engine/train.sh"]
Ошибка находит место в train.sh, где я отправляю обучающую работу:
gcloud ml-engine jobs submit training $JOB_NAME \
--job-dir $JOB_DIR \
--runtime-version 1.8 \
--python-version 3.5 \
--module-name trainer.run_train \
--package-path ./trainer \
--region $REGION \
--config=trainer/config.yaml \
--stream-logs \
-- \
--data-dir $DATA_DIR \
--version $VERSION
В моем run_train.py яПолучаю учетные данные приложения Google:
os.environ[
"GOOGLE_APPLICATION_CREDENTIALS"] = '/workdir/ml6-sandbox-cdc8cb4bcae2.json'
Train.sh работает автономно.