То, что вы хотите сделать, не сделано в CUDA. Чтобы получить процентную долю обработок использования конкретным устройством cuda, вы должны запросить драйвер GPU, как это делает nvidia-smi.
РЕДАКТИРОВАТЬ: После небольшого поиска в Google я нашел open-hardware-monitor Он написан на C # и показывает способ получить использование карт AMD и nVidia в системах Windows. , Реализация для карт AMD работает на Linux и Windows.
Я немного заглянул в код. Посмотрите на файл NVAPI.cs, чтобы увидеть, как open-hardware-monitor использует библиотеки nvidia на окнах для получения всех данных датчика и загрузки.