Я не вижу причины, по которой это не сработает, и быстрый Google для «PCI CUDA», кажется, подтверждает, что это возможно. Они делают некоторые карты CUDA для PCI.
Тем не менее, пропускная способность является одним из важных узких мест в GPGPU, но, вероятно, не самым важным (в зависимости от конкретной проблемы). Если у вас все в порядке с медленным переносом устройства <->, то все в порядке.