Как ускорить Tensorflow-GPU с использованием кода CUDA одновременно

Question

У меня только один графический процессор (GTX 1070, 8 ГБ VRAM), и я хотел бы использовать tenorflow-gpu с другим кодом CUDA одновременно на одном и том же графическом процессоре. Но использование кода CUDA и tenorflow-gpu одновременно замедляет работу tenorflow-gpu примерно в два раза. Есть ли какие-либо решения для ускорения, когда вместе используются tenorflow-gpu и CUDA-код?

Answer 1

Немного более длинная версия комментария @talonmies:

Графические процессоры потрясающие, но у них все еще есть ограниченные ресурсы. Любое грамотно созданное приложение, использующее графический процессор, сделает все возможное для насыщения устройства, оставив мало ресурсов для других приложений. Фактически, одна из целей и задач оптимизации кода GPU - будь то шейдер, ядро ​​CUDA или CL - заключается в обеспечении максимально эффективного использования всех CU.

Предполагая, что TF уже выполняет что: при запуске другого приложения с большим количеством графических процессоров или при совместном использовании ресурса, на котором уже запущен полный наклон. Итак, все замедляется.

Некоторые опции:

1. Получить секунду или быстрее, графический процессор.

2. Оптимизируйте свои ядра CUDA, чтобы уменьшить требования и упростить ваши вещи TF. Хотя это всегда важно учитывать при разработке для GPGPU, вряд ли это поможет решить вашу текущую проблему.

3. Не запускайте эти вещи одновременно. Это может оказаться немного быстрее, чем эта ситуация квазиминхронизации, которая у вас есть в настоящее время.