Ошибка загрузки облачного хранилища при отправке учебного задания ml-engine - PullRequest
Новая
       31

Ошибка загрузки облачного хранилища при отправке учебного задания ml-engine

0 голосов
/ 19 февраля 2019

Я следую инструкциям здесь: https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/running_on_cloud.md

Я создал корзину для своего проекта и загрузил следующие файлы в gs://<BUCKET>/data:

  • fast_rcnn_resnet101_pets.config
  • model.ckpt.data-00000-of-00001
  • model.ckpt.index
  • model.ckpt.meta
  • pet_faces_train.record - *
  • pet_faces_val.record- *
  • pet_label_map.pbtxt

При запуске 

gcloud ml-engine jobs submit training `whoami`_object_detection_pets_`date +%m_%d_%Y_%H_%M_%S` \
    --runtime-version 1.9 \
    --job-dir=gs://<BUCKET>/model_dir \
    --packages dist/object_detection-0.1.tar.gz,slim/dist/slim-0.1.tar.gz,/tmp/pycocotools/pycocotools-2.0.tar.gz \
    --module-name object_detection.model_main \
    --region us-central1 \
    --config object_detection/samples/cloud/cloud.yml \
    -- \
    --model_dir=gs://<BUCKET>/model_dir \
    --pipeline_config_path=gs://<BUCKET>/data/faster_rcnn_resnet101_pets.config

Я получил эту ошибку: 

ERROR: (gcloud.ml-engine.jobs.submit.training) Cloud storage upload failure. Uploaded file does not match local file: dist/object_detection-0.1.tar.gz. Please retry.

Я перезапустил вход в систему gcloud auth и действительно вижу, что в gs://<BUCKET>/model_dir/packages/7a24fbdd5ab652ab5a0737xxxxxx/

есть файл object_detection-0.1.tar.gz. Я застрял здесь и был бы очень признателен за вашу помощь.

Спасибо взаранее!

1 Ответ

0 голосов
/ 05 марта 2019

Я поделился вашей болью:)

Я создал папку в моем каталоге с именем dist, а затем загрузил туда все файлы tar.gz и использовал их из корзины, а не из моего локального каталога.диск.

Мое ведро называется: tenorflow-oxford-pets.Содержимое gs: // tenorflow-oxford-pets / dist теперь:

  • object_detection-0.1.tar.gz
  • slim-0.1.tar.gz
  • pycocotools-2.0.tar.gz

затем вместо локального пути.

  • - пакеты dist / object_detection-0.1.tar.gz, slim / dist/slim-0.1.tar.gz,/tmp/pycocotools/pycocotools-2.0.tar.gz \

Я использовал путь к корзине:

  • - пакеты gs: //tensorflow-oxford-pets/dist/object_detection-0.1.tar.gz,gs: //tensorflow-oxford-pets/dist/slim-0.1.tar.gz,gs: // tensorflow-оксфорд-Pets / расстояние/pycocotools-2.0.tar.gz \
...