Как использовать несколько графических процессоров в Pytorch?

Question

Я изучаю Pytorch и следую этому уроку: https://pytorch.org/tutorials/beginner/transfer_learning_tutorial.html

Я использую эту команду для использования графического процессора.

device = torch.device("**cuda:0**" if torch.cuda.is_available() else "cpu")

Но я хочу использовать два графических процессора в jupyter , например:

device = torch.device("**cuda:0,1**" if torch.cuda.is_available() else "cpu")

Конечно, это неправильно. Итак, как я могу это сделать?

Answer 1

Использование нескольких графических процессоров так же просто, как завершение модели в DataParallel и увеличение размера пакета. Проверьте эти два учебника для быстрого начала:

• Примеры для нескольких графических процессоров
• Параллелизм данных