Различия в прогнозировании тензорного потока на CPU и GPU для моделей CNN

Question

Я обучил сеть FCN на GPU и сохранил модель (файл .pb). Я получаю правильные прогнозы на GPU. Однако я получаю NAN для того же файла модели, когда я запускаю прогнозы на CPU. Есть ли какие-либо флаги CPU / GPU, которые нужно установить? Или есть какие-либо проблемы с переполнением процессора?

Answer 1

Нет особых условий переполнения на CPU. Оба должны реализовать IEEE 754.

Существуют различные способы реализации некоторых высокоуровневых функций (tanh, sigmoid), и они реализуются по-разному на GPU и CPU, чтобы использовать преимущества платформы.

Всякий раз, когда вы получаете NaN от вашей модели, что-то, скорее всего, сломано. Не пытайтесь исправить это с каким-то флагом, вместо этого попробуйте отладить и посмотреть, что происходит. Почти во всех случаях у вас есть вырожденная модель, которая работает только из-за углового случая некоторого оборудования.

После того, как вы нашли проблему, ее обычно исправляют, ограничивая некоторые значения или изменяя способ представления данных (например, принимая журнал больших чисел).