Запустите Spyder / Python на удаленном сервере

Question

ТАК есть варианты этого вопроса - но ни один из них не совсем ударил по голове.

Я хочу запустить spyder и выполнить интерактивный анализ на сервере. У меня есть 2 сервера, ни один из которых не Spyder. У них обоих есть Python (сервер Linux), но у меня нет прав sudo для установки пакетов, которые мне нужны.

Вкратце, случай использования: открыть spyder на локальной машине. Сделайте что-нибудь (нужна помощь здесь), чтобы использовать вычислительные мощности серверов, а затем верните результаты на локальную машину.

Обновление:

Я обновил pythonn с моими пакетами на одном сервере. Теперь выясним имя ядра и ссылку на spyder. Оставьте предыдущую версию вопроса, поскольку это все еще полезно.

Процесс докера немного пугающий, как и Paramiko. Какие у меня варианты?

Answer 1

( Сопровождающий Spyder здесь ) Вам нужно создать ядро ​​Spyder на удаленном сервере и подключиться к нему через SSH.Это единственное средство, которое мы предоставляем, чтобы делать то, что вы хотите.

Точные инструкции вы можете найти в наших документах .

Answer 2

Я долго искал что-то подобное в моей прошлой работе, когда мы хотели быстро перебрать код, который должен был работать на многих рабочих в кластере.Все коммерческие проекты с открытым исходным кодом, которые я обнаружил, были основаны на выполнении фиксированного кода с произвольными входами, а не на произвольном коде.

Мне также было бы интересно узнать, есть ли что-то, что я пропустил.Но в моем случае я закончил строить свое собственное решение (к сожалению, не с открытым исходным кодом).

Мое решение было:

1) Я создал очередь Redis, где каждая задача состояла из zip-файла со сценарием установки bash (для установки в pip и т. Д.), Сценария Python "полезной нагрузки"для запуска, и файл pickle с входными данными.

2) Сценарий Python «полезной нагрузки» считывает файл pickle или другие файлы, содержащиеся в файле zip.Будет выведен файл с именем output.zip.

3) В качестве рабочего задания был скрипт Python (работающий на удаленной машине, прослушивающий очередь Redis), который разархивирует файл, запустит скрипт установки bash, затем запустите скрипт Python.При выходе из сценария рабочий загружал файл output.zip.

Существовали различные оптимизации, например, рабочий не запускал один и тот же сценарий установки bash два раза подряд (он запоминал хэш SHA1 из самых последнихскрипт настройки).Так что, в любом случае, в худшем случае вы могли бы это сделать.На настройку ушла неделя или две.

Редактировать:

Второй (намного более ручной) вариант, если вам просто нужно запустить на одной удаленной машине, * должен использовать sshfs для локального монтирования удаленной файловой системы, чтобы вы могли быстро редактировать файлы в Spyder.Затем оставьте окно ssh открытым для удаленного компьютера и запустите Python из командной строки, чтобы протестировать сценарии на этом компьютере.(Это моя стандартная установка для разработки программ Raspberry Pi.)