У меня есть docker изображение модели PyTorch, которое возвращает эту ошибку при запуске внутри виртуальной машины Google Compute Engine, работающей на Debian / Tesla P4 GPU / образ глубокого обучения Google:
CUDA kernel failed : no kernel image is available for execution on the device
Это происходит на линии, где называется моя модель. Модель PyTorch включает в себя пользовательские расширения c ++, я использую эту модель https://github.com/daveredrum/Pointnet2.ScanNet
Мой образ устанавливает их во время выполнения
Образ отлично работает в моей локальной системе. И ВМ, и моя система имеют следующие версии:
Инструменты компиляции Cuda 10.1, V10.1.243
torch 1.4.0
torchvision 0.5.0
Основное отличие состоит в том, что GPU, насколько я знаю,
Local:
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 435.21 Driver Version: 435.21 CUDA Version: 10.1 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 GeForce GTX 960M Off | 00000000:01:00.0 Off | N/A |
| N/A 36C P8 N/A / N/A | 361MiB / 2004MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
VM:
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 418.87.01 Driver Version: 418.87.01 CUDA Version: 10.1 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 Tesla P4 Off | 00000000:00:04.0 Off | 0 |
| N/A 42C P0 23W / 75W | 0MiB / 7611MiB | 3% Default |
Если я sh войду в VM torch.cuda.is_available()
возвращает true
Поэтому я подозреваю, что это должно быть связано с компиляцией расширений
Это соответствующая часть моего docker файла:
ENV CUDA_HOME "/usr/local/cuda-10.1"
ENV PATH /usr/local/nvidia/bin:/usr/local/cuda-10.1/bin:${PATH}
ENV NVIDIA_VISIBLE_DEVICES all
ENV NVIDIA_DRIVER_CAPABILITIES compute,utility
ENV NVIDIA_REQUIRE_CUDA "cuda>=10.1 brand=tesla,driver>=384,driver<385 brand=tesla,driver>=396,driver<397 brand=tesla,driver>=410,driver<411 brand=tesla,driver>=418,driver<419"
ENV FORCE_CUDA=1
# CUDA 10.1-specific steps
RUN conda install -c open3d-admin open3d
RUN conda install -y -c pytorch \
cudatoolkit=10.1 \
"pytorch=1.4.0=py3.6_cuda10.1.243_cudnn7.6.3_0" \
"torchvision=0.5.0=py36_cu101" \
&& conda clean -ya
RUN pip install -r requirements.txt
RUN pip install flask
RUN pip install plyfile
RUN pip install scipy
# Install OpenCV3 Python bindings
RUN sudo apt-get update && sudo apt-get install -y --no-install-recommends \
libgtk2.0-0 \
libcanberra-gtk-module \
libgl1-mesa-glx \
&& sudo rm -rf /var/lib/apt/lists/*
RUN dir
RUN cd pointnet2 && python setup.py install
RUN cd ..
Я уже перезапустил эту строку с s sh на виртуальной машине:
TORCH_CUDA_ARCH_LIST="6.0 6.1 7.0" python setup.py install
Как я думаю, на что ориентируется установка с возможностью вычисления Tesla P4?
Есть ли какие-нибудь другие действия по настройке или устранению неполадок, которые я могу попробовать?
Я ничего не знал о расширениях докеров / ВМ / pytorch, пока пару дней не набрал go, поэтому немного стрелял в темноте. Также это мой первый пост, посвященный стековому потоку, извиняюсь, если не соблюдаю какой-то этикет, не стесняйтесь указывать.