Графические процессоры не связаны с блоком управления памятью ЦП, они не делают сбои страниц, как ЦП. Они являются блочными периферийными устройствами, управляемыми драйверами устройств.
Для OpenCL, когда вы выделяете память на GPU, создавая объект cl_mem и ставя в очередь (записывая) его в GPU, он будет держаться до тех пор, пока вы явно не освободите его с clReleaseMemobject. Для повторного использования буфера вам не нужно освобождать его и отслеживать его объект Cl_mem.