ResourceExhaustedError при обучении модели Yolo v3 - PullRequest
Новая
       82

ResourceExhaustedError при обучении модели Yolo v3

0 голосов
/ 19 июня 2020

Я обучаю keras-yolo3 (https://github.com/experiencor/keras-yolo3) с нуля, используя набор данных из 183 изображений и аннотаций для обнаружения кенгуру (https://github.com/experiencor/kangaroo) с поддержкой графического процессора ( Quadro T2000) и 32 ГБ оперативной памяти. Модель обучения состоит из примерно 61 параметра M.

Сообщения об ошибках вывода: 

    ResourceExhaustedError: 2 root error(s) found.
  (0) Resource exhausted: OOM when allocating tensor with shape[4,64,208,208] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc
     [[{{node training_4/Adam/gradients/zeros_273}}]]
Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info.

     [[loss_4/Identity_2/_3879]]
Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info.

  (1) Resource exhausted: OOM when allocating tensor with shape[4,64,208,208] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc
     [[{{node training_4/Adam/gradients/zeros_273}}]]
Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info.

Я не знаю, как тензор формы [4,64,208,208] вызывает выход памяти (ООМ). Как исправить?

...