Проблемы с использованием Pip Install на Cedar в виртуальной среде - PullRequest
Новая
       57

Проблемы с использованием Pip Install на Cedar в виртуальной среде

0 голосов
/ 15 марта 2020

У меня возникли проблемы при попытке установить некоторые пакеты с помощью virtualenv на Cedar. Я следую указаниям, указанным в https://docs.computecanada.ca/wiki/Python, но, тем не менее, продолжаю сталкиваться с одной из двух проблем: не могу загрузить python 3.7 или могу загрузить python 3.7, но не могу установить pip. Я могу успешно создать виртуальную среду, но проблемы возникают при установке модулей. Я пробовал команды в двух разных порядках, которые дали два нежелательных результата: 

$ module load python/3.7.0
$ source ~/ENV/bin/activate
$ pip install numpy --no-index

Это позволяет мне установить numpy (или любой другой пакет), но когда я пытаюсь открыть python, используя $ 1025 *, я go в python 2.7.14, а не 3.7.0. (Есть ли команда, которая позволяет мне открывать python 3.7.0 конкретно?)

Однако, когда я попробовал это по-другому: 

$ source ~/ENV/bin/activate 
$ module load python/3.7.0
$ pip install numpy --no-index

Это позволяет мне открыть python 3.7.0, когда я набираю $ python, но не позволяет мне использовать команды pip.

Я также пытался сначала использовать pip, прежде чем использовать модуль загрузки python / 3.7.0. Это позволило бы мне использовать установку pip, но, однако, после открытия python установленный ранее пакет не может быть найден. Я знаю, что используя второй метод, я также могу использовать загрузочный модуль SciPy-стек, который содержит numpy и может быть импортирован в Python 3.7.0, но мне нужен пакет joblib, который не включен.

Я приложил 2 простых изображения обоих результатов на случай, если это поможет больше. Я действительно ценю твою помощь. Спасибо!

Там я покажу 2 случая. Случай 2 - это изображение выше, а случай 1 - это изображение ниже.

1 Ответ

0 голосов
/ 02 апреля 2020

шахта работает в таком порядке 1 «загрузка модуля» 2. создание и активация виртуальной среды 3. pall insall, вот пример файла моей работы 

#!/bin/bash
#SBATCH --time=1-00:00
#SBATCH --account=def-someone
#SBATCH --job-name=jobname
#SBATCH --gres=gpu:v100l:2
#SBATCH --cpus-per-task=3
#SBATCH --mem=125G
#SBATCH --output=%x-%j.out
module load arch/avx512 StdEnv/2018.3
nvidia-smi
module load python/3.7.4
module load scipy-stack
module load nixpkgs/16.09  
module load gcc/7.3.0

module spider cuda/10.1
module spider cudnn/7.6.5
virtualenv --no-download $SLURM_TMPDIR/myenv
source $SLURM_TMPDIR/myenv/bin/activate

pip install --no-index --upgrade pip
pip install --no-index torch torchvision
pip install --no-index h5py

python main.py
...