Вся выделенная память будет находиться в «виртуальной памяти». Если вы используете malloc (), это «виртуальная» память.
Но, похоже, тебе нужно что-то быстрее? У вас есть анализ производительности, который указывает на проблему?
В любом случае, вы, вероятно, захотите заглянуть в OpenCL, если вам действительно нужна эта дополнительная скорость.