У вас должна быть возможность использовать librdmacm для создания соединений с семейством адресов AF_IB
и использовать собственные GID-файлы InfiniBand для связи даже без установки IPoIB.
Есть пример кода, который использует AF_IB (среди других примеров) в примере программы cmatose.c в librdmacm.