Я дополнил свой набор данных и обучил его на SSD Mobilenet v1 coco с использованием API обнаружения объектов Tensorflow https://github.com/tensorflow/models/tree/master/research/object_detection.
Сначала я получил эту ошибку:
ResourceExhaustedError (см. Выше для отслеживания): OOM при выделении тензора с формой [] 24,256,38,38] и типом float on / job: localhost / replica: 0 / task: 0 / device: GPU: 0 по распределителю GPU_0_bfc
Затем я изменил размер пакета с 24 на 3. Он начал тренироваться.
Затем я начал тренироваться с использованием Faster RCNN v2 Inception для того же расширенного набора данных и получил эту ошибку:
InvalideArgumentError(см. выше для отслеживания): LossTensor равен inf или nan.: Тензор имел значения NaN
Затем я изменил размер пакета с 1 на 32 и получил эту ошибку:
InvalidArgumentError (см. Выше для отслеживания): утверждение не удалось: [максимальное значение координаты коробки больше, чем 1.100000:]
Как это исправить?