По умолчанию TensorFlow использует GPU / CPU одновременно для вычислений или только для GPU?

Question

По умолчанию TensorFlow будет использовать наши доступные устройства с графическим процессором. Тем не менее, TensorFlow использует графические процессоры и процессоры одновременно для вычислений , или графические процессоры для вычислений и процессоры для обработки заданий (независимо от того, как, как я думаю, процессоры всегда активны)?

Answer 1

Обычно он использует как процессор, так и графический процессор (при условии, что вы используете TensorFlow с поддержкой графического процессора). Что на самом деле используется, зависит от реальных операций, которые использует ваш код.

Для каждой операции, доступной в TensorFlow, существует несколько «реализаций» такой операции, как правило, реализация ЦП и ГП. Некоторые операции имеют только реализации ЦП, так как для реализации в графическом процессоре это не имеет смысла, но в целом большинство операций доступно для обоих устройств.

Если вы выполняете пользовательские операции, вам нужно предоставить нужные реализации.

Answer 2

Операции TensorFlow поставляются со списком устройств, на которых они могут выполняться, и списком связанных приоритетов.

Например, свертка очень способствует вычислениям на GPU; но все еще может быть сделано на процессоре, тогда как скалярные дополнения обязательно должны быть сделаны на процессоре. Вы можете изменить этот выбор, используя tf.Device и ключ, прикрепленный к интересующему устройству.

Answer 3

Кто-то поправит меня, если я ошибаюсь.

Но насколько я знаю, TensorFlow использует только графический процессор или процессор в зависимости от того, какую установку вы запускали. Например, если вы использовали pip install TensorFlow для Python 2 или python3 -m pip install TensorFlow для Python 3, вы только используете версию CPU.

Наоборот для GPU.

Если у вас все еще есть какие-либо вопросы или если они не отвечают правильно на ваш вопрос, не стесняйтесь задавать мне больше.