Я использую SSD512 (предварительно обученную модель imagenet) и Faster_R-CNN (предварительно обученный), в то время как обучение, потеря и уверенность отображают nan и валидацию как 0.
Я использовал тот же набор данных и технику с SSD300 (предварительно обученная модель imagenet), которая отлично работает, давая хорошие прогнозы после тренировки [Basketball-ChainerCV] (https://github.com/atom2k17/Basketball-ChainerCV/blob/master/basketballproject.py).
При обучении Faster R-CNN перед началом обучения перед результатом первого набора эпох отображается следующее:
/usr/local/lib/python3.6/dist-
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:65:
RuntimeWarning: overflow encountered in exp
h = xp.exp(dh) * src_height[:, xp.newaxis]
/usr/local/lib/python3.6/dist-
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:65:
RuntimeWarning: overflow encountered in multiply
h = xp.exp(dh) * src_height[:, xp.newaxis]
/usr/local/lib/python3.6/dist-
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:66:
RuntimeWarning: overflow encountered in exp
w = xp.exp(dw) * src_width[:, xp.newaxis]
/usr/local/lib/python3.6/dist-
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:66:
RuntimeWarning: overflow encountered in multiply
w = xp.exp(dw) * src_width[:, xp.newaxis]
/usr/local/lib/python3.6/dist-
packages/chainercv/links/model/faster_rcnn/utils/proposal_creator.py:126:
RuntimeWarning: invalid value encountered in greater_equal
Вещи, которые я пробовал:
- Увеличение скорости обучения
- Уменьшение размера партии
- Удалены изображения, аннотации и содержимое в текстовых файлах с изображениями, где
ограничительная рамка составляет менее 1% от общего размера изображения
Примечание: Все отлично работает с SSD300, проблемы с моделями SSD512 и Faster RCNN.
В чем проблема / проблемы, стоящие за этой проблемой? Кто-нибудь может подсказать, как бороться с такими проблемами?