Синхронизация многих двоичных файлов

Question

У меня есть около 100 000 файлов на офисном сервере (изображения, PDF и т. Д.) Каждый день количество файлов увеличивается примерно на 100-500 элементов, и меняется примерно 20-50 старых файлов.

Как лучше синхронизировать веб-сервер с этими файлами? Может ли какая-нибудь система, как Mercurial, GIT помочь? (На офисном сервере я буду вносить изменения, а веб-сервер периодически делать обновления)?

Вторая проблема заключается в том, что на веб-сервере у меня есть пользовательский контент (бинарные файлы) (другие файлы). Каждый день эти пользователи загружают около 1000-2000 новых файлов. Старые файлы не меняются. И мне нужно сделать резервную копию этих файлов на локальном компьютере. Может ли какая-либо система, подобная Merurial, GIT помочь в этой ситуации? (На веб-сервере я фиксирую эти файлы с помощью cron, а на локальной машине я буду обновлять)

Спасибо

UPD.

Сервер Office - Windows Server 2008 R2 Веб-сервер Debian 5 lenny

Answer 1

Самый простой и надежный механизм (из моего опыта) - rsync.

В Windows, однако, rsync поверх ssh сильно сломан из-за проблем с тем, как Cygwin взаимодействует с именованными каналами. Rsync работает по собственному протоколу (если вас не интересует шифрование), но у меня было много проблем с тем, чтобы rsync оставался в качестве службы Windows более нескольких дней подряд. DeltaCopy - это приложение для Windows, которое использует инструменты rsync за кулисами; похоже, он работает очень хорошо, хотя я не пробовал использовать ssh.

Answer 2

DVCS не является хорошим решением в этом случае: он сохранит историю all , которая вам не всегда нужна, и сделает любой клон массивную операцию.

хранилище артефактов, такое как Nexus , гораздо более приспособлено, если вам нужно какое-то управление версиями с проверкой целостности, связанной с вашими двоичными файлами.
В противном случае (без управления версиями), простой rsyncкак Марсело предлагает достаточно.