Снижение производительности с помощью ядра CUDA внутри цикла - PullRequest
Новая
       34

Снижение производительности с помощью ядра CUDA внутри цикла

0 голосов
/ 12 мая 2019

Я пытался улучшить производительность медленного кода. Этот код использовал cblas, и я пытался повысить производительность, используя магму и куда. Сначала я только что передал вызовы cblas магме. Но ему нужны копии CPU <-> GPU внутри цикла, поэтому программа работала даже медленнее, чем версия cblas. Затем, благодаря предложению члена stackoverflow, я начал использовать ядро ​​cuda, потому что таким образом у меня могло быть меньше 1 копии, что немного улучшило производительность. Тем не менее, мой код все еще намного медленнее, чем код процессора. Это вызвано вызовом ядра внутри цикла? Есть ли способ избежать всех копий CPU <-> GPU, которые находятся внутри цикла? Я начинаю думать, что, возможно, этот код просто не стоит разбирать.

Вот мой код: 

__global__ void calculateGamma(double* d_delta, double *d_gamma_xi, double *dotresult, double* gamma_output) {

  int index= blockIdx.x;
  gamma_output[index] = -(*d_gamma_xi + *dotresult)/ *d_delta;
}

for (i=0;i<m-1;i++) {
      if (i==0) {
        gamma = -gamma_x[i+1]/delta;
        cudaMemcpy(d_gammaOutput, &gamma, sizeof(double), cudaMemcpyHostToDevice);
      } else {

        cublasDdot(h, i, &d_gamma_x[1], 1, &(d_l2)[1], 1, dotresult);
        cudaDeviceSynchronize();
        cublasSetPointerMode(h, CUBLAS_POINTER_MODE_HOST);

        calculateGamma<<<1,1>>>(d_delta, &d_gamma_x[i+1], dotresult, d_gammaOutput);
        cudaMemcpy(get_gamma_output, d_gammaOutput, sizeof(double), cudaMemcpyDeviceToHost);

        gamma = *get_gamma_output;
        magma_dcopy(i, &(d_l2)[1], 1, &(d_l1)[2], 1, queue);
        magma_daxpy(i, gamma, &(d_l2)[1], -1, &(d_l1)[2], 1, queue);

        magma_dswap(ny, d_l1, 1, d_l2, 1, queue);
      }
      magma_dcopy(1, d_gammaOutput, 1, &(d_l2)[1], 1, queue);
      delta = gamma_x[0] + magma_ddot(i+1,&d_gamma_x[1],1,&(d_l2)[1],-1, queue);      

      ln_determinant_C += log(delta);
}

1 Ответ

1 голос
/ 13 мая 2019

Обновление: этот код был медленнее из-за моего плохого графического процессора.Запуск его на GPU с лучшей производительностью позволил ему работать намного быстрее, чем версия кода CBlas.

...