Как бороться с NaN и 0 для потери и проверки во время обучения

Question

Я использую SSD512 (предварительно обученную модель imagenet) и Faster_R-CNN (предварительно обученный), в то время как тренировки, потеря и уверенность отображают nan и валидацию как 0.

[Basketball-ChainerCV] (https://github.com/atom2k17/Basketball-ChainerCV/blob/master/basketballproject.py).

Это изображение для тренировки SSD300 ниже:

Когда тренировка Faster R-CNN перед началом тренировки, перед результатомпервый набор эпох:

/usr/local/lib/python3.6/dist- 
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:65: 
RuntimeWarning: overflow encountered in exp
  h = xp.exp(dh) * src_height[:, xp.newaxis]
/usr/local/lib/python3.6/dist- 
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:65: 
RuntimeWarning: overflow encountered in multiply
  h = xp.exp(dh) * src_height[:, xp.newaxis]
/usr/local/lib/python3.6/dist- 
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:66: 
RuntimeWarning: overflow encountered in exp
  w = xp.exp(dw) * src_width[:, xp.newaxis]
/usr/local/lib/python3.6/dist- 
packages/chainercv/links/model/faster_rcnn/utils/loc2bbox.py:66: 
RuntimeWarning: overflow encountered in multiply
  w = xp.exp(dw) * src_width[:, xp.newaxis]
/usr/local/lib/python3.6/dist- 
packages/chainercv/links/model/faster_rcnn/utils/proposal_creator.py:126: 
RuntimeWarning: invalid value encountered in greater_equal 

То, что я пробовал:

1. Увеличениескорость обучения
2. Уменьшение размера пакета
3. Удалены изображения, аннотации и содержимое в текстовых файлах, в которых есть изображения, где ограничивающая рамка составляет менее 1% от общего размера изображения

Примечание: Все отлично работает с SSD300, проблемы с моделями SSD512 и Faster RCNN. Все модели проходят предварительную подготовку по набору данных ImageNet.

В чем заключаются проблемы / проблемыпроблема? Кто-нибудь может дать указания о том, как боротьсяс такими вопросами?