Я постоянно пытаюсь получить следующие ошибки при попытке обучить мой набор данных:
InvalidArgumentError (see above for traceback): LossTensor is inf or nan. : Tensor had NaN values
или
NanLossDuringTrainingError
Я чувствую, что единственное решение в этой точке - это использование градиентаотсечение, но я не уверен, как интегрировать это в файл pipe.config или в файл optimizerbuilder.py.Я попытался реорганизовать свои каталоги, дважды проверив координаты моих ограничивающих рамок, изменив размеры моих изображений, используя модель FaceSSD и модель Faster RCNN Inception V2 Coco, переключившись с оптимизатора реквизитов RMS на оптимизатор Adam, уменьшив скорость обучения, ииспользуя legacy / train.py вместо model_main.py.У кого-нибудь есть совет?