rsync: сколько времени требуется rsync для создания списка файлов перед запуском процесса синхронизации ч / б источник и назначение - PullRequest
0 голосов
/ 23 января 2019

Я использую rsync более 1 года для синхронизации производственных данных в папке на томе nfs, после завершения синхронизации запускается наше расписание резервного копирования NDMP / резервного копирования на ленту.

Положение: Вчера мы заметили, что rsync все еще находился в процессе синхронизации файла из рабочей папки в целевую папку до завершения процесса резервного копирования на ленту команд rsync. Следовательно, данные резервного копирования на ленту противоречивы.

Вопрос 1) как узнать, сколько времени rsync потребовалось для создания списка файлов, которые необходимо синхронизировать с ч / б исходной и целевой папкой?

Я использовал приведенную ниже команду для печати метки времени, чтобы определить, сколько времени потребовалось rsync для создания списка файлов перед началом процесса копирования файла.

rsync -avz --out-format = "% t% f" - удалить / opt / app_home / shared / data / opt / app_home / shared / plugins / opt / app_home / shared / tape-backup-rsync- shared_new /

Однако ищите руководство о том, как определить время, затрачиваемое на каждом этапе процесса rsync, чтобы я мог настроить время выполнения запланированных заданий cron.

1 Ответ

0 голосов
/ 24 января 2019

Вероятно, полагаться на время - плохая идея, потому что он будет зависеть от того, сколько данных необходимо перенести и насколько перегружены машина и / или сеть. Я предлагаю вам либо сделать свой график очень щедрым, либо внедрить какой-то механизм блокировки.

Попробуйте это для rsync:

flock /path/to/some/nfs/filename.lock rsync <args>

И это для вашей резервной копии:

flock /path/to/some/nfs/filename.lock <mycmd> <args>

Команда flock (f-lock) гарантирует, что только один процесс может владеть файлом блокировки одновременно, и будет сидеть и ждать, пока он не получит файл блокировки, прежде чем он запустит команду, которую вы ему дадите. Пока синхронизация и резервное копирование запускаются в правильном порядке, резервное копирование всегда будет ждать завершения синхронизации.

Основная проблема заключается в том, что у вас когда-либо происходит отключение питания, отключение сети или какое-либо другое прерывание, которое приводит к тому, что устаревший файл блокировки остается в наличии, затем вы должны удалить его вручную, прежде чем какое-либо задание сможет снова запуститься (и если вы не не заметить быстро, тогда может быть целая куча в очереди).

...