Нужно ли нам звонить cuda() для модели и данных, если мы используем DataParallel?
Скажем, у нас четыре GPU, в частности, есть три вопроса:
a.Если мы не вызываем cuda(), модель и данные находятся на ЦП, будет ли когда-нибудь неэффективной, если она реплицируется на 4 графических процессора?
b.Если мы назовем cuda(), модель и данные будут на GPU # 1, будет ли неэффективно пространство с точки зрения повторной репликации на GPU # 1, или она не будет повторяться снова, если модель / данные были там?
с.В целом, для эффективности времени / пространства, мы должны назвать cuda(), если мы используем DataParallel?