Это тренировка слишком медленная или с нормальной скоростью?ГП + питон + тензорФлоу-ГПУ - PullRequest
0 голосов
/ 09 октября 2018

Я тренирую «quick_rcnn_inception_resnet_v2_atrous_coco» для обнаружения пользовательских объектов с помощью API Тензорного потока.

Я настроил машину на Azure со следующей конфигурацией:

Процессор Intel cxeon E5-2690 v3 @ 2.60ГГц ОЗУ 56 ГБ Windows10 64-разрядный графический процессор Tesla K80 Общая память 11,18 ГБ

Когда я запускаю train.py, я получаю следующую скорость в секунду:

ИНФОРМАЦИЯ: тензор потока: глобальный шаг 458: потеря= 0,5601 (3 000 с / шаг) I1009 19: 30: 13,254615 5916 tf_logging.py:115] глобальный шаг 458: потеря = 0,5601 (3 000 с / шаг) INFO: тензор потока: глобальный шаг 459: потеря = 0,5724 (3,077 с / шаг) I1009 19: 30: 16.331734 5916 tf_logging.py:115] глобальный шаг 459: потеря = 0,5724 (3,077 с / шаг) INFO: тензорный поток: глобальный шаг 460: потеря = 0,8615 (3,018 с / шаг) I1009 19: 30: 19.3501325916 tf_logging.py:115] глобальный шаг 460: потеря = 0,8615 (3,018 сек / шаг) INFO: тензор потока: глобальный шаг 461: потеря = 0,6021 (3,062 сек / шаг) I1009 19: 30: 22.428256 5916 tf_logging.py:115]глобальный шаг 461: потеря = 0,6021 (3,062 с / шаг)

Это достаточно быстро или должно быть быстрее, чем при использовании графического процессора?размер пакета конфигурации равен 1. Когда я изменяю его на 2 или выше, ему не хватает памяти.

это занимает 3 секунды на шаг в наборе данных из 93 изображений.Хорошо ... но после тренировки, когда я загружаю замороженный график и пытаюсь предсказать его по всем изображениям, это занимает 1 секунду на изображение ... с графическим процессором ... кажется слишком медленным .. что я делаю не так?

...