API обнаружения объектов Tensorflow: обучение застревает на шаге = 0 для ssd + mobilenetv2 с пользовательскими данными

Question

Я хотел провести обучение с использованием модели ssd + mobilenetv2 с моими собственными изображениями. У меня только один класс. Изображения были загружены из OpenImageDataSet. Я использовал API обнаружения объектов tenorflow. Но обучение застряло на шаге = 0.

Я проверил, что TFRecord был создан правильно, так как я могу использовать те же данные для обучения rapid_rcnn с API-интерфейсами обнаружения объектов. Я создал свой собственный файл конфигурации, используя файл в репозиториях: ssd_mobilenet_v2_oid_v4.config.

Я также попытался начать с ssd_mobilenet_v2_coco_2018_03_29.tar.gz, используя соответствующий файл конфигурации. Поведение то же самое - оно застряло на том же месте.

####################
CONSOLE LOG:
Instructions for updating:
Use standard file utilities to get mtimes.
INFO:tensorflow:Running local_init_op.
I0416 16:30:39.198738 19792 session_manager.py:500] Running local_init_op.
INFO:tensorflow:Done running local_init_op.
I0416 16:30:39.632495 19792 session_manager.py:502] Done running local_init_op.
INFO:tensorflow:Saving checkpoints for 0 into D:\work\cv\others\my-tf2-od-transfer-ssd-mobilenet-v2\model.ckpt.
I0416 16:30:48.724722 19792 basic_session_run_hooks.py:606] Saving checkpoints for 0 into D:\work\cv\others\my-tf2-od-transfer-ssd-mobilenet-v2\model.ckpt.
2020-04-16 16:30:59.919297: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cudnn64_7.dll
2020-04-16 16:31:00.964680: W tensorflow/stream_executor/cuda/redzone_allocator.cc:312] Internal: Invoking ptxas not supported on Windows
Relying on driver to perform ptx compilation. This message will be only logged once.
2020-04-16 16:31:00.986098: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cublas64_100.dll
INFO:tensorflow:loss = 12.512502, step = 0
I0416 16:31:02.740392 19792 basic_session_run_hooks.py:262] loss = 12.512502, step = 0 [STUCK HERE]

Answer 1

Я обнаружил, что сочетание версии графического процессора TF 1.15 + моя установка вызывает проблему: «Вызов ptxas не поддерживается на Windows». Уменьшение его до графического процессора TF 1.14 или использование процессора TF 1.15 решает проблему. Это общий и открытый вопрос о Tensorflow: ЗДЕСЬ

Answer 2

ты уверен, что он застрял? вы получаете какие-либо ошибки? В процессе обучения API TF OD записывает журналы в файл событий (можно открыть с помощью тензорной доски) в каталоге модели. посмотрите в каталоге вашей модели и посмотрите, есть ли там записанный файл событий, посмотрите на его метку времени, чтобы увидеть, обновляется ли он.