CUDA_ERROR_OUT_OF_MEMORY тензорный поток

Question

В рамках своего учебного проекта я пытаюсь обучить нейронную сеть, которая выполняет сегментацию изображений (на основе FCN), и во время выполнения я получил следующее сообщение об ошибке:

tenorflow.python.framework.errors_impl.ResourceExhaustedError: OOM при выделении тензора с формой [1,67,1066,718] и типом float on / job: localhost / replica: 0 / task: 0 / device: GPU: 0 по распределителю GPU_0_bfc

Обратите внимание, что я установил batch_size равным 1, и у меня возникает та же ошибка, даже когда я пробовал изображения разных размеров, я также поместил только 1 изображение, чтобы тренироваться вместо 1600, все еще та же ошибка!Не могли бы вы помочь мне решить эту проблему?О чем это на самом деле?

Answer 1

Добро пожаловать в Stackoverflow.

Вы должны проверить свой графический процессор и доступную память.

Это не проблема с тензорным потоком.Но ваша видеокарта слишком мала.

Возможно, вам придется использовать сеть с меньшими требованиями к памяти или видеокарту большего размера.Речь идет не только о размере изображения, которое вы вставляете, но и о всех весах, которые необходимо хранить в графическом процессоре.

Если вам нужно работать с этой конкретной сетью и вы не хотите покупать другой компьютервы можете использовать CloudService, например AWS или GoogleCloudPlatform.

Для проверки вашего статуса GPU вы можете использовать nvidia-smi