Распределение связанных с процессором сжатий на несколько компьютеров?

Question

На днях мне нужно было заархивировать много данных в нашей сети, и я был разочарован, что у меня не было немедленного способа задействовать возможности нескольких машин для ускорения процесса.

Я понимаю, что создание распределенной системы управления заданиями - это скачок от инструмента архивации из командной строки.

Теперь мне интересно, каким может быть простейшее решение для этого типа сценария с распределенной производительностью. Всегда ли требовался пользовательский инструмент или есть способы использовать стандартные утилиты и как-то прозрачно распределить их нагрузку на более высоком уровне?

Спасибо за любые предложения.

Answer 1

Одним из способов решения этой проблемы может быть использование распределенной системы make для запуска сценариев на сетевом оборудовании. Это (или раньше) экспериментальная особенность (некоторых реализаций) GNU Make. Solaris реализует утилиту dmake для той же цели.

Другим, более тяжелым подходом может быть использование Condor для распределения ваших заданий архивирования. Но я думаю, что вы не установили бы Condor только для двухгодичных прогонов архивации, это скорее система для регулярной очистки резервных циклов от сетевого оборудования.

Систему сборки SCons, которая на самом деле является заменой make на основе Python, вероятно, можно убедить отработать всю работу по сети.

Опять же, вы можете использовать сценарии для запуска ssh на сетевых компьютерах.

Таким образом, есть несколько способов, которыми вы могли бы подойти к этому, не занимаясь параллельным программированием, со всеми этими развлечениями.