Запуск ноутбука Jupyter на узле моего кластера (высокопроизводительные вычисления или средство HP C)

Question

Я хотел запустить ноутбук jupyter на узле нашего кластера, НЕ на узле входа . Я мог удаленно запускать блокнот jupyter на узле входа в систему, но это излишне замедляло бы использование кластера. Пожалуйста, объясните мне, как я могу запустить блокнот jupyter на узле с моего локального рабочего стола. Наш кластер использует PBS метод отправки заданий, например, используйте команды типа qsub, qstat, qdel для управления нашими заданиями в кластере.

Answer 1

Вы можете сделать это, запустив блокнот jupyter в сценарии заданий. Вывод сценария запуска jupyter может быть записан в файл для получения token и отслеживания журналов.

Пример сценария, который работал в моей системе:

#!/bin/bash
#PBS -N Notebook
#PBS -j oe
#PBS -l select=1:ncpus=24
#PBS -l walltime=24:00:00
#PBS -q medium

cd $PBS_O_WORKDIR
PYTHONPATH=/path/to/python
NOTEBOOK_LOGFILE=jupyterlog.out

$PYTHONPATH/bin/jupyter notebook --no-browser --ip=0.0.0.0 --port=8890 >> ${NOTEBOOK_LOGFILE} 2>&1

Вы может контролировать вывод по tail -f jupyterlog.out и получить идентификатор токена.

Затем вы можете переслать и прослушать порт, на котором работает ноутбук jupyter в вашей локальной системе, по номеру

ssh -N -f -L localhost:8888:node:8890 user@host