Как оптимально использовать несколько моделей глубокого обучения на GPU

Question

Я строю систему, которая обрабатывает пять потоков одновременно.Я сталкиваюсь с проблемой, когда запускаю несколько моделей глубокого обучения для того, чтобы обрабатывать эти потоки, а затем сильно ускоряться.Итак, если вы привыкли проектировать систему как таковую.Пожалуйста, прокомментируйте мне некоторые предложения.

Answer 1

Я бы посоветовал запустить несколько моделей глубокого обучения, каждая на отдельной машине. В противном случае они всегда будут бороться за общие ресурсы, такие как ОЗУ, процессорное время, жесткий диск и т. Д., И вы не достигнете оптимальной производительности.