Используйте `capture_tpu_profile` в платформе AI - PullRequest
Новая
       24

Используйте `capture_tpu_profile` в платформе AI

0 голосов
/ 30 марта 2020

мы пытаемся получить данные профилирования TPU во время выполнения нашего учебного задания на платформе AI. После этого урока . Вся необходимая информация, такая как имя TPU, выводится из нашей модели.

config.yaml: 

trainingInput:
  scaleTier: BASIC_TPU
  runtimeVersion: '1.15' # also tried '2.1'

команда отправки задачи: 

export DATE=$(date '+%Y%m%d_%H%M%S') && \
gcloud ai-platform jobs submit training "imaterialist_image_classification_model_${DATE}" \
--region=us-central1 \
--staging-bucket='gs://${BUCKET}' \
--module-name='efficientnet.main' \
--config=config.yaml \
--package-path="${PWD}/efficientnet" \
-- \
--data_dir='gs://${BUCKET}/tfrecords/' \
--train_batch_size=8 \
--train_steps=5 \
--model_dir="gs://${BUCKET}/algorithms_training/imaterialist_image_classification_model/${DATE}" \
--model_name='efficientnet-b4' \
--skip_host_call=true \
--gcp_project=${GCP_PROJECT_ID} \
--mode=train

Когда мы пытались запустить capture_tpu_profile с именем, которое наша модель получила от мастера: 

capture_tpu_profile --gcp_project="${GCP_PROJECT_ID}" --logdir='gs://${BUCKET}/algorithms_training/imaterialist_image_classification_model/20200318_005446' --tpu_zone='us-central1-b' --tpu='<tpu_IP_address>'

мы получили эту ошибку: 

  File "/home/kovtuh/.local/lib/python3.7/site-packages/tensorflow_core/python/distribute/cluster_resolver/tpu_cluster_resolver.py", line 480, in _fetch_cloud_tpu_metadata
    "constructor. Exception: %s" % (self._tpu, e))
ValueError: Could not lookup TPU metadata from name 'b'<tpu_IP_address>''. Please doublecheck the tpu argument in the TPUClusterResolver constructor. Exception: <HttpError 404 when requesting https://tpu.googleapis.com/v1/projects/<GCP_PROJECT_ID>/locations/us-central1-b/nodes/<tpu_IP_address>?alt=json returned "Resource 'projects/<GCP_PROJECT_ID>/locations/us-central1-b/nodes/<tpu_IP_address>' was not found". Details: "[{'@type': 'type.googleapis.com/google.rpc.ResourceInfo', 'resourceName': 'projects/<GCP_PROJECT_ID>/locations/us-central1-b/nodes/<tpu_IP_address>'}]">

Похоже, что устройство TPU не подключено к нашему проекту, когда предоставляется в AI Platform , но с каким проектом связан и можем ли мы получить доступ к таким TPU для захвата его профиля?

...