PyTorch: есть ли способ сохранить модель в оперативной памяти процессора, но выполнить все операции на графическом процессоре для больших моделей?

Question

Из того, что я вижу, большинство людей, похоже, инициализируют всю модель и отправляют все это в графический процессор.Но у меня есть модель нейронной сети, которая слишком велика, чтобы полностью уместиться на моем GPU.Можно ли сохранить модель в оперативной памяти, но выполнить все операции на графическом процессоре?

Answer 1

Я не верю, что это возможно.Однако одним из простых способов будет разделить вашу модель на секции, которые будут помещаться в память GPU вместе с вашим пакетным вводом.

1. Отправьте первую часть (и) модели в gpu и вычислите выходные данные
2. Освободите предыдущую часть модели из памяти gpu и отправьте следующую часть модели вGPU.
3. Введите выходные данные с 1 в следующий раздел модели и сохраните выходные данные.

Повторяйте с 1 по 3, пока не достигнете конечного результата ваших моделей.