HTCondor Scatter Gather

Question

Я разрабатываю проект, в котором мне нужно уменьшить разрешение видео с 1080p до 720p. Эта часть довольно проста с помощью команды "ffmpeg -I inputVideo.mp4 -r 60 -s hd720 outputVideo.mp4".

Теперь идея заключается в использовании HTCondor, поэтому каждый Resource получает одну часть видео ( Scatter ), снижает его качество и возвращает его, поэтому в итоге все части можно собрать вместе, чтобы получить полное видео 720p ( Gather ). Проблема в том, что каждый узел возвращает свой собственный сегмент, так как я могу сделать так, чтобы возвращение было общим соединением видео. Я подумал об использовании файла .dag, поэтому после выполнения он запустит скрипт, который объединит их, но, насколько я понимаю из документации , которая выполняется на каждом узле, а не в каком-либо месте где все сегменты, которые клиент, я думаю.

Итак, я хотел бы спросить, что вы предлагаете, чтобы я мог объединить выходные видеофайлы.

Answer 1

Я думаю, что вы на правильном пути с Дагманом. Начните с ромба, как в документации:

https://htcondor.readthedocs.io/en/stable/users-manual/dagman-applications.html#the -dag-input-file-basi c -команды

Но, может быть, вы хотите больше, чем 2 узла для обработки - рассеяние. По завершении каждого из этих заданий HTCondor выходные данные будут отправлены обратно на отправляющую машину. Вы можете либо отправить все это на рабочий узел HTCondor для окончательной сборки, либо, если сборка не является нагрузкой на процессор, просто запустите ее на компьютере отправки, где находятся все промежуточные выходы. В HTCondor задание «локальной вселенной» выглядит как обычное задание, но выполняется на подчиненном компьютере. Возможно, последний узел, который зависит от всех узлов рассеяния, может быть заданием локальной вселенной.

Во время сеанса обучения для dagman был похожий пример обработки изображения с набором mandlebrot. Эта ссылка может дать вам несколько хороших идей:

https://opensciencegrid.org/user-school-2019/#materials / day4 / part4-ex1-simple-dag /