В наши рабочие места в Jenkins в настоящее время загружаются все компоненты для сборки каждой сборки из артефакта, эта загрузка тратит много времени на сборку, поэтому я начал работать над инструментом, который будет загружать все компоненты каждый раз, когда естьновая версия, и когда начнется сборка, я буду использовать внешний кеш на хостах вместо его загрузки.
После загрузки файлов (17 ГБ) на локальный узел я столкнулся с проблемой, как поделитьсяэти файлы со всеми остальными узлами, сначала я попытался выполнить параллельное rsync всех файлов с другими узлами, но это заняло много времени с многопоточностью Python (24 узла), а затем я попытался использовать параллельный-ssh для того, чтобы сказать каждому узлу загружать файлы самостоятельно, но это также заняло много времени, затем я подумал о запуске большого количества заданий от Дженкинса, но это может заполнить мою очередь. и, по крайней мере, я подумал о том, чтобы просто запустить задания на других хостах с помощью &, но если я это сделаю, у меня может не быть никакой информации на случай, если загрузка не удалась для задания.
Любые предложения о том, как я могу это сделатьактивность наиболее рекомендуемым способом? Спасибо