Я пытался тренироваться быстрее R-CNN (https://github.com/kbardool/keras-frcnn), имея чуть более 100 изображений. Я пытался тренироваться на Floydhub, используя следующую строку (https://www.floydhub.com/laurynasg/projects/faster_r-cnn/3/):
floyd run --gpu --env tensorflow-1.9:py2 --data laurynasg/datasets/faster_r-cnn_images/1:images 'python train_frcnn.py -o simple -p train.txt'
Моя проблема в том, что тренировочная последовательность выглядит странно и очень медленно. Сначала он повторяется тысячу раз, затем выдает пару сообщений:
Average number of overlapping bounding boxes from RPN = 9.603 for 1000 previous iterations
2018-08-29 04:19:49,839 INFO -
2018-08-29 04:19:49,839 INFO - 1000/1000 [==============================] - 6421s 6s/step - rpn_cls: 2.1735 - rpn_regr: 0.1228 - detector_cls: -0.1509 - detector_regr: -0.1189
2018-08-29 04:19:49,839 INFO - Mean number of bounding boxes from RPN overlapping ground truth boxes: 9.607
2018-08-29 04:19:49,840 INFO - Classifier accuracy for bounding boxes from RPN: 0.952875
2018-08-29 04:19:49,840 INFO - Loss RPN classifier: 0.308176488076
2018-08-29 04:19:49,840 INFO - Loss RPN regression: 0.0141665605258
2018-08-29 04:19:49,840 INFO - Loss Detector classifier: 0.115702805009
2018-08-29 04:19:49,840 INFO - Loss Detector regression: 0.0648736124858
2018-08-29 04:19:49,840 INFO - Elapsed time: 1045.54498291
2018-08-29 04:19:49,841 INFO - Total loss decreased from 0.745386148392 to 0.502919466096, saving weights
2018-08-29 04:19:49,841 INFO - Exception: `save_weights` requires h5py.
2018-08-29 04:19:50,832 INFO -
Похоже, что это будет повторяться случайное количество раз (от 1 до 5) перед началом следующей эпохи. Также одна итерация занимает около 1 секунды, что делает обучение 2000 эпох очень медленным даже на карте Nvidia K80. Полный журнал здесь: https://www.floydhub.com/api/v1/resources/vkumzAf8WEGdJkYyF6oQMY?content=true
Есть ли что-то, что я делаю неправильно, я уверен, что это не займет много времени