Google Cloud Dataproc: ошибки создания кластера (debconf DbDriver config.dat заблокирован) - PullRequest
Новая
       12

Google Cloud Dataproc: ошибки создания кластера (debconf DbDriver config.dat заблокирован)

0 голосов
/ 28 августа 2018

Недавно у меня возникали случайные ошибки при попытке создать кластеры dataproc в GCP. Команда создания похожа на: 

gcloud dataproc clusters create ${CLUSTER_NAME} \
       --zone "us-east1-b" \
       --master-machine-type "n1-standard-16" \
       --master-boot-disk-size 150 \
       --num-workers ${WORKER_NODE_COUNT:-9} \
       --worker-machine-type "n1-standard-16" \
       --worker-boot-disk-size 25 \
       --project ${PROJECT_NAME}  \
       --properties 'yarn:yarn.log-aggregation-enable=true'

Очень периодически я получаю ошибку: 

ERROR: (gcloud.dataproc.clusters.create) Operation [projects/PROJECT/regions/global/operations/UUID] failed: Multiple Errors:
- Failed to initialize node random-name-m. See output in: gs://dataproc-UUID-us/google-cloud-dataproc-metainfo/UUID/random-name-m/dataproc-startup-script_output
- Failed to initialize node random-name-w-0. See output in: gs://dataproc-UUID-us/google-cloud-dataproc-metainfo/UUID/random-name-w-0/dataproc-startup-script_output
- Failed to initialize node random-name-w-1. See output in: gs://dataproc-UUID-us/google-cloud-dataproc-metainfo/UUID/random-name-w-1/dataproc-startup-script_output
- Worker random-name-w-8 unable to register with master random-name-m. This could be because it is offline, or network is misconfigured..

И последние строки выходного файла корзины Google Storage (dataproc-startup-script_output): 

+ debconf-set-selections
debconf: DbDriver "config": /var/cache/debconf/config.dat is locked by another process: Resource temporarily unavailable
++ logstacktrace
++ local err=1
++ local code=1
++ set +o xtrace
ERROR: 'debconf-set-selections' exited with status 1
Call tree:
 0: /usr/local/share/google/dataproc/startup-script-cloud_datarefinery_image_20180803_nightly-RC04.sh:490 main
Exiting with status 1

Этот действительно начинает меня раздражать! Любые идеи / мысли / решения очень ценятся!

1 Ответ

0 голосов
/ 28 сентября 2018

Исправление для этой проблемы будет выпущено в течение выпуска следующей недели. Вы можете проверить примечания к выпуску, чтобы увидеть, когда исправление появилось здесь: https://cloud.google.com/dataproc/docs/release-notes

...