Я борюсь с аутентификацией по GCR (Google Container Registry) из менеджера задач пряжи AWS EMR (2.26.0).Я признателен, если бы я мог получить некоторую помощь.
ПРОБЛЕМА
Я выполняю луч Apache на Apache Flink и во время выполнения задания он извлекает изображение из GCR, используя docker pull, однако это не удается сошибка ниже.
2019-09-20 06:08:14,721 INFO org.apache.flink.runtime.taskmanager.Task - Loading JAR files for task MapPartition (MapPartition at [3]{Create, ParDo(EsOutputFn)}) (1/1) (b86cfd078da0495d136a8be3c9ba4221) [DEPLOYING].
2019-09-20 06:08:14,737 INFO org.apache.flink.runtime.taskmanager.Task - Registering task at network: MapPartition (MapPartition at [3]{Create, ParDo(EsOutputFn)}) (1/1) (b86cfd078da0495d136a8be3c9ba4221) [DEPLOYING].
2019-09-20 06:08:14,738 INFO org.apache.flink.runtime.taskmanager.Task - MapPartition (MapPartition at [3]{Create, ParDo(EsOutputFn)}) (1/1) (b86cfd078da0495d136a8be3c9ba4221) switched from DEPLOYING to RUNNING.
2019-09-20 06:08:17,635 WARN org.apache.beam.runners.fnexecution.environment.DockerCommand - Unable to pull docker image asia.gcr.io/creationline001/beam/python3:latest, cause: Received exit code 1 for command 'docker pull asia.gcr.io/PROJECTNAME/beam/python3:latest'. stderr: Error response from daemon: unauthorized: You don't have the needed permissions to perform this operation, and you may have invalid credentials. To authenticate your request, follow the steps in: https://cloud.google.com/container-registry/docs/advanced-authentication
2019-09-20 06:08:18,800 INFO org.apache.beam.runners.fnexecution.artifact.BeamFileSystemArtifactRetrievalService - GetManifest for /tmp/artifacts48p65zzj/job_cae7120d-7ee3-4690-b664-f646594b2305/MANIFEST
2019-09-20 06:08:18,801 INFO org.apache.beam.runners.fnexecution.artifact.BeamFileSystemArtifactRetrievalService - Loading manifest for retrieval token /tmp/artifacts48p65zzj/job_cae7120d-7ee3-4690-b664-f646594b2305/MANIFEST
ОКРУЖАЮЩАЯ СРЕДА
Перед выполнением я выполнил аутентификацию с помощью следующих шагов на узлах данных.
Автономный помощник по учетным данным Docker
https://cloud.google.com/container-registry/docs/advanced-authentication#standalone_docker_credential_helper
Конфигурирование и использование
https://github.com/GoogleCloudPlatform/docker-credential-gcr#configuration-and-usage
- sudo su - пряжа
- docker-credential-gcr configure-docker
- docker-credential-gcr gcr-login
- Проверьте, работает ли
docker pull asia.gcr.io/PROJECTNAME/beam/python3:latest
Из журнала кажется, что диспетчер задач использует другой механизм по сравнению с предыдущими шагами.Есть ли специальные шаги аутентификации для менеджера задач пряжи?