CUDA может ускорить вычислительную обработку, но не узкие места из-за пропускной способности / задержки сети или низкой (по сравнению с остальной частью вашего приложения / машины) производительности ввода-вывода. В вашем случае вы, вероятно, не сильно нагружаете свой процессор, поэтому ваш код, скорее всего, не выиграет от разгрузки кода в графический процессор.
Редактировать : По сути, то, что говорит Анон.