Использование cudaMalloc для выделения матрицы

Question

Я использую cudaMalloc и cudaMemcpy для выделения матрицы и копирования в нее массивов векторов, например:

float **pa;    
cudaMalloc((void***)&pa,  N*sizeof(float*)); //this seems to be ok
for(i=0; i<N; i++) {
    cudaMalloc((void**) &(pa[i]), N*sizeof(float)); //this gives seg fault
    cudaMemcpy (pa[i], A[i], N*sizeof(float), cudaMemcpyHostToDevice); // also i am not sure about this
}

Что не так с моими инструкциями?Заранее спасибо

PS A [i] - это вектор

---

Теперь я пытаюсь скопировать матрицу из устройства в матрицу с хоста:

Предположим, у меня ** устройство в устройстве, а ** pgpu в хосте:

cudaMemcpy (pgpu, pc, N*sizeof(float*), cudaMemcpyDeviceToHost);
for (i=0; i<N; i++)
    cudaMemcpy(pgpu[i], pc[i], N*sizeof(float), cudaMemcpyDeviceToHost);

= неправильно ....

Answer 1

pa находится в памяти устройства, поэтому &(pa[i]) не делает того, чего вы ожидаете.Это будет работать

float **pa;
float **pah = (float **)malloc(pah, N * sizeof(float *));    
cudaMalloc((void***)&pa,  N*sizeof(float*));
for(i=0; i<N; i++) {
    cudaMalloc((void**) &(pah[i]), N*sizeof(float));
    cudaMemcpy (pah[i], A[i], N*sizeof(float), cudaMemcpyHostToDevice);
}
cudaMemcpy (pa, pah, N*sizeof(float *), cudaMemcpyHostToDevice);

т.е.создайте массив указателей в памяти хоста, а затем скопируйте его на устройство. Я не уверен, что вы надеетесь прочитать из A, но я подозреваю, что внутренний cudaMemcpy, вероятно, не делает то, что вы хотите, как написано.

Будьте предупреждены, чтос точки зрения производительности, массивы указателей не очень хорошая идея для графического процессора.

Answer 2

Какова ваша конечная цель этого кода? Как уже упоминалось выше, вероятно, в ваших интересах было бы объединить pa в одномерный массив для использования на GPU. Что-то вроде:

float *pa;
cudaMalloc((void**)&pa, N*N*sizeof(float));

К сожалению, вам придется настроить A [i], чтобы копирование памяти выполнялось таким образом.