Сбросить Cuda Context после исключения - PullRequest
Новая
       8

Сбросить Cuda Context после исключения

0 голосов
/ 27 мая 2019

У меня есть рабочее приложение, которое использует Cuda / C ++, но иногда из-за утечек памяти выдает исключение. Мне нужно иметь возможность сброса графического процессора в режиме реального времени, мое приложение является сервером, поэтому оно должно оставаться доступным.

Я пробовал что-то подобное, но, похоже, это не работает: 

try
{
    // do process using GPU
}
catch (std::exception &e)
{
    // catching exception from cuda only

    cudaSetDevice(0);
    CUDA_RETURN_(cudaDeviceReset());
}

Моя идея - переустанавливать устройство каждый раз, когда я получаю исключение от графического процессора, но мне не удается заставить его работать. :( Кстати, по некоторым причинам я не могу исправить все проблемы моего кода Cuda, мне нужно временное решение. Спасибо!

1 Ответ

1 голос
/ 27 мая 2019

Единственный способ восстановить надлежащую функциональность устройства после невосстановимой («залипающей») ошибки CUDA - это прекратить хост-процесс , который инициировал (т. Е. Произвел вызовы API времени выполнения CUDA, которые привели к)ошибка.

Следовательно, для однопроцессного приложения единственным способом является завершение приложения.

Должна быть возможность спроектировать многопроцессорное приложение, в котором начальный ("родительский")") процесс вообще не использует CUDA и порождает дочерний процесс, использующий графический процессор.Когда дочерний процесс сталкивается с неисправимой ошибкой CUDA, он должен завершиться.

Родительский процесс может, необязательно, отслеживать дочерний процесс.Если он определит, что дочерний процесс завершен, он может перезапустить процесс и восстановить функциональное поведение CUDA.

Ошибки «залипание» и «не залипание» рассматриваются в других местах, например, здесь .

Пример правильного многопроцессорного приложения, которое использует, например, fork() для порождения дочернего процесса, использующего CUDA, доступно в примере кода CUDA simpleIPC.Вот приблизительный пример, собранный из примера simpleIPC (для linux): 

$ cat t477.cu
/*
 * Copyright 1993-2015 NVIDIA Corporation.  All rights reserved.
 *
 * Please refer to the NVIDIA end user license agreement (EULA) associated
 * with this source code for terms and conditions that govern your use of
 * this software. Any use, reproduction, disclosure, or distribution of
 * this software and related documentation outside the terms of the EULA
 * is strictly prohibited.
 *
 */

// Includes
#include <stdio.h>
#include <assert.h>

// CUDA runtime includes
#include <cuda_runtime_api.h>

// CUDA utilities and system includes
#include <helper_cuda.h>

#define MAX_DEVICES          1
#define PROCESSES_PER_DEVICE 1
#define DATA_BUF_SIZE        4096

#ifdef __linux
#include <unistd.h>
#include <sched.h>
#include <sys/mman.h>
#include <sys/wait.h>
#include <linux/version.h>

typedef struct ipcDevices_st
{
    int count;
    int results[MAX_DEVICES];
} ipcDevices_t;


// CUDA Kernel
__global__ void simpleKernel(int *dst, int *src, int num)
{
    // Dummy kernel
    int idx = blockIdx.x * blockDim.x + threadIdx.x;
    dst[idx] = src[idx] / num;
}


void runTest(int index, ipcDevices_t* s_devices)
{
    if (s_devices->results[0] == 0){
        simpleKernel<<<1,1>>>(NULL, NULL, 1);  // make a fault
        cudaDeviceSynchronize();
        s_devices->results[0] = 1;}
    else {
        int *d, *s;
        int n = 1;
        cudaMalloc(&d, n*sizeof(int));
        cudaMalloc(&s, n*sizeof(int));
        simpleKernel<<<1,1>>>(d, s, n);
        cudaError_t err = cudaDeviceSynchronize();
        if (err != cudaSuccess)
          s_devices->results[0] = 0;
        else
          s_devices->results[0] = 2;}
    cudaDeviceReset();
}
#endif

int main(int argc, char **argv)
{

    ipcDevices_t *s_devices = (ipcDevices_t *) mmap(NULL, sizeof(*s_devices),
                                                    PROT_READ | PROT_WRITE, MAP_SHARED | MAP_ANONYMOUS, 0, 0);
    assert(MAP_FAILED != s_devices);

    // We can't initialize CUDA before fork() so we need to spawn a new process
    s_devices->count = 1;
    s_devices->results[0] = 0;

    printf("\nSpawning child process\n");
    int index = 0;

    pid_t pid = fork();

    printf("> Process %3d\n", pid);
    if (pid == 0) { // child process
    // launch our test
      runTest(index, s_devices);
    }
    // Cleanup and shutdown
    else { // parent process
            int status;
            waitpid(pid, &status, 0);
            if (s_devices->results[0] < 2) {
              printf("first process launch reported error: %d\n", s_devices->results[0]);
              printf("respawn\n");
              pid_t newpid = fork();
              if (newpid == 0) { // child process
                    // launch our test
                 runTest(index, s_devices);
                  }
    // Cleanup and shutdown
              else { // parent process
                int status;
                waitpid(newpid, &status, 0);
                if (s_devices->results[0] < 2)
                  printf("second process launch reported error: %d\n", s_devices->results[0]);
                else
                  printf("second process launch successful\n");
                }

            }

    }

    printf("\nShutting down...\n");

    exit(EXIT_SUCCESS);

}
$ nvcc -I/usr/local/cuda/samples/common/inc t477.cu -o t477
$ ./t477

Spawning child process
> Process 10841
> Process   0

Shutting down...
first process launch reported error: 1
respawn

Shutting down...
second process launch successful

Shutting down...
$

Для окон единственными изменениями должно быть использование механизма IPC для Windows для межпроцессного взаимодействия хоста.

...