Чем пространство с нулями отличается от обычного дискового пространства на диске домашнего узла? - PullRequest
0 голосов
/ 07 января 2020

Я новичок в HP C, и я изо всех сил пытаюсь настроить пустое место. В кластере, с которым я работаю, мне нужно настроить чистое пространство с помощью диспетчера рабочей нагрузки SLURM. И я бьюсь над следующими вопросами?

  • Чем пространство для заметок отличается от обычного дискового пространства в домашнем узле?

  • Процедура установки рабочего пространства отличается от кластера к кластеру?

  • Возможно ли копировать файлы из чистого пространства на домашний узел, пока моделирование еще продолжается? и возможно ли перенести файлы с чистого места на мой внешний жесткий диск, не копируя файлы на дисковое пространство локального домашнего узла? или эти вещи отличаются от кластера к кластеру? Потому что я попробовал симуляцию с нуля. Для этого, используя SLURM, я сначала скопировал свои входные файлы в папку с нулями, затем файлы временных шагов направляются в папку с нулями, и после завершения моделирования выходные файлы временных шагов копируются в дисковое пространство домашнего узла. Во время симуляции я пытался получить доступ к выходным файлам временного шага в папке с нулями. Но я нигде не мог видеть выходные файлы в пустом месте. Но когда симуляция закончилась, я смог увидеть файлы в домашнем узле. Я действительно запутался в этом.

Извините, если эти вопросы звучат глупо. Я просто совершенно новый для HP C. Пожалуйста, не стесняйтесь задавать любые вопросы.

Спасибо

Ram

1 Ответ

0 голосов
/ 07 января 2020

При обслуживании большого совместно используемого кластера часто возникающая проблема заключается в том, что люди, как правило, хранят большое количество данных и не предпринимают усилий для очистки после себя. Одним из способов решения этой проблемы является ограничение количества данных, которые люди могут хранить в своей домашней папке (например, 500 ГБ). Это имеет очень четкую проблему: когда вы имеете дело с большими объемами данных, вы не можете использовать кластер. Как правило, это решается с помощью так называемого нуля пространства. На пустом месте пользователи обычно могут хранить большие объемы данных (например, 8 ТБ), однако администраторы сервера могут установить здесь некоторые правила (например, файлы автоматически удаляются через две недели).

  • Скретч-пространство отличается тем, что файлы могут быть удалены администраторами через некоторое время. И иногда в «чистом пространстве» улучшается аппаратное обеспечение, благодаря чему процесс ввода-вывода там выполняется немного быстрее.
  • Обычно «чистое пространство» уже настроено, и его можно найти, например, в /scratch
  • (обычно ) Рекомендуемый способ - записать весь вывод в пустое пространство (в том числе и потому, что ввод-вывод может быть быстрее), а когда все будет сделано, скопировать окончательные результаты с нуля в свою домашнюю папку. Чтобы скопировать из одного места в другое, взгляните на scp или rsync документы, но да, это должно быть возможно. Я не знаю, почему вы не могли видеть ваши файлы ..
...