Нет, не может.Большинство управляющих кодов устройств, таких как запуск ядра, cudaMalloc, cudaMemcpy, ориентированы на одно конкретное устройство, вам нужно использовать cudaSetDevice, чтобы указать устройство, которое вы хотите выполнить, что-то вроде:
for (i = 0; i < gpuCount; i++)
{
cudaSetDevice(i);
cudaMemcpy(...)
some_kernel_func<<...>>> (...)
}