Безопасное удаление файлов conda из AWS AMI глубокого обучения

Question

Я запустил «Deep Learning AMI (Ubuntu 18.04) Версия 27.0»; он поставляется с диском на 90 ГБ, что казалось достаточно, но более 60 ГБ этого уже использовалось. Мне нужен только python3, pytorch, cuda. ​​

Я обнаружил, что 30 ГБ было внутри ~/anaconda3/envs:

3.9G    aws_neuron_mxnet_p36
2.2G    aws_neuron_pytorch_p36
1.9G    aws_neuron_tensorflow_p36
2.5G    chainer_p27
1.2G    chainer_p36
2.1G    mxnet_p27
2.1G    mxnet_p36
729M    python2
866M    python3
2.5G    pytorch_p27
2.6G    pytorch_p36
2.2G    tensorflow2_p27
2.1G    tensorflow2_p36
2.3G    tensorflow_p27
1.8G    tensorflow_p36
31G total

Безопасно ли просто rm, скажем, tensorflow и mxnet каталогов?

conda env list дает тот же список. Лучше сделать, например, conda env remove tensorflow2_p27.

Есть ли вероятность побочных эффектов при удалении этих пакетов? Есть ли способ убедиться, что от них ничего не зависит, прежде чем их удалять?

Answer 1

Это было безопасно. Я использовал следующие команды (обратите внимание, что -n необходим), и Pytorch, используемый с Python3 и cuda, продолжал работать.

conda env remove -n tensorflow2_p27
conda env remove -n tensorflow_p27
conda env remove -n mxnet_p27
conda env remove -n mxnet_p36
conda env remove -n chainer_p27
conda env remove -n chainer_p36

После каждого шага он спрашивал, можно ли удалить куча пакетов.

Это освободило около 10 ГБ, что дало мне необходимый буфер. (Поэтому я не экспериментировал с удалением некоторых других, но я вполне уверен, что все из aws_neuron тоже могли бы исчезнуть.)

Answer 2

Если вам нужно удалить кучу вещей, скорее всего, вы используете неправильный AMI для вас.

Если вам не нужны эти услуги, я бы выбрал другой AMI, который не ' t включите их, а затем в раздел «Данные пользователя» (внизу шага 3 в мастере запуска EC2) укажите код bash для установки / настройки необходимого программного обеспечения.

Вы также можете изменить размер хранилища на шаге 4 мастера запуска.