График обучения API обнаружения тензорного объекта и экспорта

Question

У меня следующая проблема: Когда я переобучаю API обнаружения объектов TF своим собственным набором данных, обучение часто прекращается, и я не знаю причину.журнала ошибок нет, просто убил.Более того, почему в моем MODEL_DIR сохраняются только несколько model.ckpt-XXXX?

Во-вторых, когда я пытаюсь экспортировать вышеуказанную модель в замороженный график с помощью предоставленного сценария, я обнаружил в анализе, что он неполныйформа:

================== Model Analysis Report ======================
Incomplete shape.

Я использовал model.cpkt-XXXX после того, как тренировочный процесс был убит, это причина того, что форма неполна?

Экспортированная модель может использоваться для вывода, но ядумаю, это не оптимально ...

К вашему сведению, я переобучил mobileSSDv2 с 1 классом, и я изменил файл конфигурации конвейера относительно изменений следующим образом:

• Я меняю номеркласса до 1
• в поезде config {} часть, я изменил размер партии на 12 и поставил количество шагов до 200
• train_input_reader и eval_input_reader {} частей, я добавил свойпуть к записи TF и ​​labelmap.pbtxt
• в части eval_config {}, я изменил число примеров на 85 (количество изображений в моем хранилище eval изображений) и максимальное значение eval на 5.

Я использую Ubuntu 16.04 с Tensoflow-GPU 1.12.0 в virtualenv с python 2.7.

Заранее спасибо.

Answer 1

Если вы используете tenorflow-gpu и у вас есть графический процессор, 200 - это действительно низкое число , которого вы достигнете менее чем за несколько минут (и ваша сеть ничего не узнает).Увеличьте его как минимум до 100.000.

Более того, из-за малого количества тренировочных шагов вы можете ожидать, что тренировки сохранят вашу модель в начале (шаг 0) и в конце обучения (шаг 200), так что вы получитетолько 2 модели.

Сохранение моделей с тензорным потоком каждые 600 секунд, если вы не измените save_interval_secs внутри trainer.py