Tensorboard не показывает результат оценки последней контрольной точки - PullRequest
Новая
       13

Tensorboard не показывает результат оценки последней контрольной точки

3 голосов
/ 11 марта 2019

Я обучил некоторые модели обнаружения объектов с пользовательскими данными для шагов 4K, используя TensorFlow Object Detection API, и оценил их во время обучения. Оценка сделана для всех контрольных точек, я посмотрел результаты на консоли.

Однако я не вижу результатов оценки последних двух контрольных точек на Tensorboard для какого-то raeson. Он показывает результат оценки 3K шагов, и ничего после этого. Я вижу, что оценка завершена на консоли, а также в папке.

На консоли не появляется сообщений об ошибках при запуске Tensorboard. Я вижу, что результаты тренировок полностью загружаются в Tensorboard, единственное, чего не хватает, так это результатов последней оценки.

Я снова попытался оценить последние контрольные точки, но ничего не изменилось. В конце оценки я получаю сообщение о том, что показатели записываются в сводку ...

Контрольные точки тренировок сохраняются каждые 10 минут, а оценка занимает 12 минут. Но даже в этом случае я ожидаю, что результаты оценки последней контрольной точки будут там.

Когда я пытаюсь загрузить CSV-файл с Tensorboard, я также не вижу оценки двух последних контрольных точек.

В чем может быть причина? 

I0311 16:57:21.281645 MainThread program.py:165] Not bringing up TensorBoard, but inspecting event files.
I0311 16:57:21.281645 140028330256128 program.py:165] Not bringing up TensorBoard, but inspecting event files.
======================================================================
Processing event files... (this can take a few minutes)
======================================================================

Found event files in:
./CN_flow1_95/eval
./CN_flow1_95/train

These tags are in ./CN_flow1_95/eval:
audio -
histograms -
images
   image-0
   image-1
   image-2
   image-3
   image-4
   image-5
   image-6
   image-7
   image-8
   image-9
scalars
   Losses/Loss/BoxClassifierLoss/classification_loss
   Losses/Loss/BoxClassifierLoss/localization_loss
   Losses/Loss/RPNLoss/localization_loss
   Losses/Loss/RPNLoss/objectness_loss
   PascalBoxes_PerformanceByCategory/AP@0.5IOU/b'cyclist'
   PascalBoxes_PerformanceByCategory/AP@0.5IOU/b'motorcyclist'
   PascalBoxes_PerformanceByCategory/AP@0.5IOU/b'pedestrian'
   PascalBoxes_Precision/mAP@0.5IOU
tensor -
======================================================================

Event statistics for ./CN_flow1_95/eval:
audio -
graph
   first_step           0
   last_step            0
   max_step             0
   min_step             0
   num_steps            1
   outoforder_steps     []
histograms -
images
   first_step           0
   last_step            4112
   max_step             4112
   min_step             0
   num_steps            7
   outoforder_steps     []
scalars
   first_step           0
   last_step            4112
   max_step             4112
   min_step             0
   num_steps            7
   outoforder_steps     []
sessionlog:checkpoint -
sessionlog:start -
sessionlog:stop -
tensor -
======================================================================

These tags are in ./CN_flow1_95/train:
audio -
histograms
   ModelVars/...
images -
scalars
   Losses/TotalLoss
   Losses/clone_0/Loss/BoxClassifierLoss/classification_loss
   Losses/clone_0/Loss/BoxClassifierLoss/localization_loss
   Losses/clone_0/Loss/RPNLoss/localization_loss
   Losses/clone_0/Loss/RPNLoss/objectness_loss
   Losses/clone_1/Loss/BoxClassifierLoss/classification_loss
   Losses/clone_1/Loss/BoxClassifierLoss/localization_loss
   Losses/clone_1/Loss/RPNLoss/localization_loss
   Losses/clone_1/Loss/RPNLoss/objectness_loss
   Losses/clone_2/Loss/BoxClassifierLoss/classification_loss
   Losses/clone_2/Loss/BoxClassifierLoss/localization_loss
   Losses/clone_2/Loss/RPNLoss/localization_loss
   Losses/clone_2/Loss/RPNLoss/objectness_loss
   batch/fraction_of_150_full
   clone_0/Losses/clone_0//clone_loss
   global_step/sec
   queue/prefetch_queue/fraction_of_5_full
tensor -
======================================================================

Event statistics for ./CN_flow1_95/train:
audio -
graph
   first_step           0
   last_step            0
   max_step             0
   min_step             0
   num_steps            1
   outoforder_steps     []
histograms
   first_step           0
   last_step            4110
   max_step             4110
   min_step             0
   num_steps            28
   outoforder_steps     []
images -
scalars
   first_step           0
   last_step            4110
   max_step             4110
   min_step             0
   num_steps            54
   outoforder_steps     []
sessionlog:checkpoint
   first_step           1
   last_step            4111
   max_step             4111
   min_step             1
   num_steps            7
   outoforder_steps     []
sessionlog:start
   outoforder_steps     []
   steps                [0, 4110]
sessionlog:stop
   outoforder_steps     []
   steps                [0, 0]
tensor -
======================================================================

1 Ответ

0 голосов
/ 14 марта 2019

Я также спросил об этом в репозитории TensorBoard.Они сказали, что нет причин не загружать файл событий идеально, и сказали, чтобы я приходил сюда ...

Иногда можно увидеть правильные результаты (если есть 10-15 файлов событий из-за исчерпывающего тестирования), но в основном они не могут.Я изменил частоту хранения контрольных точек, чтобы не пропустить ни одной из них во время оценки (не имеет смысла, но все же попробовал)

Я сохранял контрольные точки каждые 12 минут, поскольку оценка также занимает 12 минут.Это также не сработало.

Все результаты по тензорной доске выглядят нормально.

Я пробовал разные модели на разных компьютерах и также очистил кеш браузера.Ничего не помогает на самом деле.

Я считаю, что есть ошибка в тензорной доске.

...