Установите библиотеку RAPIDS на блокнот Googe Colab

Question

Мне было интересно, смогу ли я установить библиотеку RAPIDS (выполняющую задачи машинного обучения полностью на графическом процессоре) в блокнот Google Colab Laboratory?

Я провел некоторые исследования, но не былв состоянии найти способ сделать это ...

Answer 1

Теперь это возможно с новыми экземплярами T4 https://medium.com/rapids-ai/run-rapids-on-google-colab-for-free-1617ac6323a8

Чтобы включить cuGraph, вы можете заменить команду wget на:

! Conda install -c nvidia / label / cuda10.0 -c Rapidsai / label / cuda10.0 -c pytorch \ -c numba -c conda-forge -c numba -c значения по умолчанию \ boost cudf = 0,6 cuml = 0,6 python = 3,6 cugraph = 0,6 -y

Answer 2

Последнее решение;

!wget -nc https://github.com/rapidsai/notebooks-extended/raw/master/utils/rapids-colab.sh
!bash rapids-colab.sh

import sys, os

sys.path.append('/usr/local/lib/python3.6/site-packages/')
os.environ['NUMBAPRO_NVVM'] = '/usr/local/cuda/nvvm/lib64/libnvvm.so'
os.environ['NUMBAPRO_LIBDEVICE'] = '/usr/local/cuda/nvvm/libdevice/'

было выдвинуто несколько дней назад, см. Проблемы # 104 или # 110 , или полный rapids-colab.sh скрипт для получения дополнительной информации.

Примечание: в настоящее время для инстилляции требуется экземпляр Tesla T4, проверка на это может быть выполнена с помощью

# check gpu type
!nvidia-smi

import pynvml

pynvml.nvmlInit()
handle = pynvml.nvmlDeviceGetHandleByIndex(0)
device_name = pynvml.nvmlDeviceGetName(handle)

# your dolphin is broken, please reset & try again
if device_name != b'Tesla T4':
  raise Exception("""Unfortunately this instance does not have a T4 GPU.

    Please make sure you've configured Colab to request a GPU instance type.

    Sometimes Colab allocates a Tesla K80 instead of a T4. Resetting the instance.

    If you get a K80 GPU, try Runtime -> Reset all runtimes...""")

# got a T4, good to go 
else:
  print('Woo! You got the right kind of GPU!')

Answer 3

Похоже, что различные части еще не устанавливаются в pip, поэтому единственный способ получить их на colab - это построить их на colab, что может потребовать больше усилий, чем вы заинтересованы в этом вкладывать :) https://github.com/rapidsai/cudf/issues/285 - это проблема слежения за Rapidsai / Cudf (предположительно, другие Rapidsai / LIBS последуют их примеру).