SSH на сервер с использованием скрипта Python

Question

Я студент-астроном, работаю с большим набором данных.У меня есть 80 ТБ файла .fits на суперкомпьютере, который я пытаюсь обработать с помощью скрипта Python.Я мог бы обрабатывать данные, хранящиеся на суперкомпьютере, отправляя задание (которое остается в очереди целую вечность), или я мог обрабатывать данные на своем локальном рабочем столе (без загрузки всех данных).Однако я не могу загрузить все данные (80 ТБ) на локальный компьютер из-за проблем с хранилищем.Мне было интересно, есть ли способ запустить сценарий обработки Python на моем локальном рабочем столе, но он считывает данные с суперкомпьютера, используя безопасную оболочку.

Спасибо.

Answer 1

Извлечение Выполнение команд через ssh с Python и Загрузка файлов через SSH с использованием Python Как вывести список всех папок и файлов в каталоге после подключения через sftp в python

Вы можете поместить его в цикл и получить файл> Разобрать его> получить следующий файл и так далее.