Какова общая топология графического процессора в кластерах?

Question

Я новичок в области высокопроизводительных вычислений и изучаю операцию Allreduce для видеокарт. Я считаю эффективную коллективную операцию под названием ring-Allreduce, которая требует, чтобы физическая топология карт GPU была топологией дерева. Тем не менее, я проверяю топологию своего собственного сервера следующим образом:

Кажется, что карты GPU соединены несколькими локальными P C Ie шина и P CIe хост-мост. Это иерархия шинной топологии?

Answer 1

Система с двумя сокетами имеет несколько портов P CIe root на каждом сокете. Мост AP CIe подключен к каждому порту root, а графические процессоры подключены к мостам.

Соединения, помеченные как PIX, находятся между графическими процессорами, подключенными к одному мосту.

Соединения с меткой NODE находятся между графическими процессорами, подключенными к двум разным мостам (на двух разных портах root).

Соединения с меткой SYS подключаются к портам root на разных сокетах.