Я успешно обучил модели с использованием API обнаружения объектов Tensorflow, работающего как локально на графическом процессоре (с использованием model_main.py), так и с использованием ML Engine от Google (как с графическим, так и с TPU).Однако я не могу использовать model_tpu_main.py для обучения модели при работе в облаке Google (с использованием виртуальной машины и TPU, настроенных вручную).
Когда я запускаю model_tpu_main.py, используя что-то вроде python -m object_detection.model_tpu_main --model_dir=gs://bucket/training --tpu_zone us-central1-b --pipeline_config_path=gs://bucket/training/pipeline.config --job-dir gs://bucket/training --tpu_name mytpu_name, он застревает:
...
W1113 03:05:16.628712 139998232708864 variables_helper.py:144] Variable [resnet_v1_50/fpn/smoothing_2/BatchNorm/moving_mean] is not available in checkpoint
W1113 03:05:16.629062 139998232708864 variables_helper.py:144] Variable [resnet_v1_50/fpn/smoothing_2/BatchNorm/moving_variance] is not available in checkpoint
W1113 03:05:16.629330 139998232708864 variables_helper.py:144] Variable [resnet_v1_50/fpn/smoothing_2/weights] is not available in checkpoint
2018-11-13 03:06:08.618834: W tensorflow/core/distributed_runtime/rpc/grpc_session.cc:349] GrpcSession::ListDevices will initialize the session with an empty graph and other defaults because the session has not yet been created.
...
Глядя на журналы TPU, я получаю почти все:
...
Start master session b9186abfa4e15b1d with config: isolate_session_state: true A
Start master session 48b812f9ca0d3ebf with config: isolate_session_state: true A
Start master session 33048226cb131f4c with config: isolate_session_state: true A
Start master session cab95e277a429f9d with config: isolate_session_state: true A
Start master session 56b5d3296c9bfe15 with config: isolate_session_state: true A
Start master session 3fdac64b285c365d with config: isolate_session_state: true A
Start master session ec1fa14806ad9351 with config: isolate_session_state: true A
...
Есть идеи, что я делаю не так?