Настроить экземпляр AWS EC2 с Tensorflow 2.0 - AMI или создать его самостоятельно?

Question

Мне нужно настроить экземпляр графического процессора AWS EC2 с Tensorflow 2.0. Все документы, которые я видел, показывают, что текущие изображения AMI AWS поддерживают только Tensorflow 1.14 или 1.15, но не Tensorflow 2.0. Поэтому мне было интересно, как лучше всего получить Tensorflow-gpu 2.0 на экземпляре AWS.

Я мог бы создать экземпляр графического процессора EC2, установить драйверы Nvidia, а затем установить экземпляр докера, используя nvidia-docker и Tensorflow 2.0.. Или проще просто установить образ AWS AMI с Tensorflow 1.14, а затем обновитьв Tensorflow 2.0? Не ясно, какой подход имеет больше смысла.

Любые предложения приветствуются.

Answer 1

Итак, я прошел оба маршрута. Прямо сейчас я бы сказал, что настроить Docker-контейнер с Tensorflow 2.0 проще, чем строить из образа AMI.

Для маршрута Docker вы можете раскрутить экземпляр Ubuntu 18.04 с графическими процессорами. Затем вы должны выполнить следующие шаги. Сейчас я изложил основные шаги, но не стал вдаваться в детали. Но, надеюсь, этого руководства достаточно, чтобы помочь кому-то начать.

1. Запустите экземпляр и установите программное обеспечение docker-ce. Убедитесь, что сетевой порт 8888 доступен для входящих подключений.

2. Установите драйверы nvidia для конкретного экземпляра графического процессора: https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/install-nvidia-driver.html

3. Установите nvidia-docker программное обеспечение из репозитория Nvidia github. Это позволит образу докера получить доступ к драйверам графического процессора на экземпляре EC2.

4. Загрузите и запустите контейнер tenorflow 2.0 с помощью команды: docker run -it --gpus all --rm -v $(realpath ~/Downloads):/tf/notebooks -p 8888:8888 tensorflow/tensorflow:2.0.0-gpu-py3-jupyter

Это должно инициировать записную книжку, к которой пользователь может получить к ней доступ. их компьютер.

Если вы хотите сделать это с помощью образа AMI, вам в основном необходимо установить образ Tensorflow 1.14, а затем обновить его. Это на самом деле сложнее, чем кажется. Опять же, это общее описание шагов, но я постарался включить ссылки или код, как мог.

1. Настройка Ubuntu 18.04 Deep Learning AMI на сервере (25.2).

2. Обновление и обновление Ubuntu:

    sudo apt-get update
    sudo apt-get upgrade

Обновите дистрибутив Anaconda, поскольку в текущем дистрибутиве используется брокерская версия менеджера пакетов.

conda update conda
conda update --all

Создание среды tensorflow 2.0 conda

conda create -n tf2 python=3.7 tensorflow-gpu==2.0 cudatoolkit cudnn jupyter

Инициализировать conda в оболочке. Вы должны сделать это, чтобы использовать команды conda из оболочки. Вам может потребоваться выйти из экземпляра и затем вернуться в него по ssh.

conda init bash
bash

Установить пакет environment_kernels

pip install environment_kernels

Установка расширений ноутбука jupyter

conda install -c conda-forge jupyter_contrib_nbextensions

Установите сервер Jupyter на экземпляр. Следуйте инструкциям по ссылке: https://docs.aws.amazon.com/dlami/latest/devguide/setup-jupyter-config.html

ssh в экземпляр и запустите сервер Jupyter.

ssh -N -f -L 8888:localhost:8888 ubuntu@aws-public-url

Откройте браузер на своем компьютере и перейдите по общедоступному URL-адресу: 8888 для этого сервера.

Поэтому я бы сказал, что используйте первый подход, а не второй, пока Amazon не выпустит Tensorflow 2.0 AMI.