Если вы используете MPI, настройте MPI для использования IB для передачи сообщений. Просто напишите программу MPI и выполните ее. Если ваш MPI настроен правильно, он будет преимущественно использовать IB.
Вы также можете использовать VERBS API для непосредственного использования IB. VERBS является аналогом TCP.