Parallel.For
не использует графический процессор в вашей видеокарте. Он использует потоки, несколько ядер и гиперпоточность для достижения своих целей. Нет доступных драйверов, которые позволили бы Parallel.For использовать графический процессор.
Единственная известная мне технология, позволяющая распараллеливать работу в графическом процессоре (кроме графической обработки), - это CUDA .