Как привязать каждый GPU к одному рангу? - PullRequest
Новая
       10

Как привязать каждый GPU к одному рангу?

0 голосов
/ 17 февраля 2020

У меня dgx 1 с 8 графическими процессорами. У меня есть 8 bash скриптов, которые выполняют некоторые вычисления на GPU. Я хочу привязать каждый скрипт отдельно к 8 графическим процессорам, используя ранги MPI. Как мне это сделать. Я пробовал 

CUDA_DEVICE_ORDER="PCI_BUS_ID"
CUDA_VISIBLE_DEVICES=0 python get_mpi_rank.py &
CUDA_VISIBLE_DEVICES=1 python get_mpi_rank.py &
CUDA_VISIBLE_DEVICES=2 python get_mpi_rank.py &
CUDA_VISIBLE_DEVICES=3 python get_mpi_rank.py &
CUDA_VISIBLE_DEVICES=4 python get_mpi_rank.py &
CUDA_VISIBLE_DEVICES=5 python get_mpi_rank.py &
CUDA_VISIBLE_DEVICES=6 python get_mpi_rank.py &
CUDA_VISIBLE_DEVICES=7 python get_mpi_rank.py

, где get_mpi_rank.py следующее: 

from mpi4py import MPI

comm = MPI.COMM_WORLD
print(str(comm.Get_rank()))

, но он печатает только ранг 0 (8 раз).

...