Я пытаюсь обучить SSD mobilenet v2, используя Tensorflow Object Detection API, с Tensorflow GPU.Обучение проходит хорошо и быстро до первого сохранения контрольной точки (после нескольких сотен шагов), где оно застревает после восстановления последней контрольной точки.Использование графического процессора уменьшается и никогда не появляетсяИногда происходит сбой самого Python.
Я использую графический процессор Tensorflow на Windows 7, с NVIDIA Quadro M4000, с CUDA 8.0 (единственная версия, с которой мне удалось работать).Модель представляет собой твердотельный накопитель Mobilenet v2, предварительно обученный COCO, с очень низким размером пакета 4.
Файл конфигурации такой же, как и в Tensorflow Model ZOO, конечно, с изменением путей, размера пакета,количество классов и количество шагов и добавление shuffle: true в обучающей части.
Я добавляю информацию о терминале, которая выходит.Вот где он застревает.
Кто-то испытывал такую же проблему или имеет какое-либо представление, почему?
Заранее спасибо
