В настоящее время я использую Python Tensorflow API для выполнения вывода на модель глубокого обучения. Каждый отдельный вывод занимает около 0,02 секунды с графическим процессором NVIDIA Titan RTX. Если бы мне пришлось переключить графический процессор на NVIDIA Quadro RTX 5000, что я должен проверить перед переключением, чтобы увидеть, будет ли мой вывод выполнять то же самое с другим графическим процессором?
Должен ли я проверять использование графического процессора в диспетчере задач? Или это зависит от количества используемых ядер CUDA? Или что-то еще?
Использование графического процессора на самом деле довольно низкое - максимум около 9%. Означает ли это, что это будет хорошо на более слабом графическом процессоре?