Мне нужно использовать модель CNN для вывода (размер файла .pth составляет около 1,5 ГБ) на nVidia 2080 Ti (или на 2070). Можно ли это сделать, когда я использую ту же карту для обучения другой модели? Ожидается ли задержка для процесса вывода?
Как я могу ограничить долю GPU, выделенную каждому процессу с PyTorch?