Решения для репликации файлов

Question

Думая о процессе сборки под управлением Windows, который будет периодически сбрасывать файлы на диск для репликации на несколько других серверов Windows в том же центре данных. Другие машины будут запускать IIS и передавать эти файлы в массы.

Общий размер корпуса составит миллионы файлов, 100 ГБ данных. Это должно было бы иметь дело с возможным конфликтом на целевых серверах, например, с латентными ссылками. через глобальную сеть, холодный запуск чистых серверов

Решения, о которых я думал до сих пор:

• queue'd система и демоны либо периодически просыпаются и копируются, либо запускаются как сервисы.
• SAN - дорого, сложно, дороже
• РОБОКОПИЯ, на временной работе - просто, но эффективно. Много внутреннего / неопределенного состояния, например где его при копировании, ошибки
• С полки репл. программное обеспечение - дешевле, чем SAN, но все еще дорого
• UNC общие папки и нет репл. Более высокая задержка, более низкая стоимость - все еще нужно решение для кластеризации.
• Репликация DFS.

Что еще использовали другие люди?

Answer 1

Общие папки UNC и отсутствие репликации имеет много недостатков, особенно если IIS собирается использовать пути UNC в качестве домашних каталогов для сайтов. В состоянии стресса вы столкнетесь с http://support.microsoft.com/default.aspx/kb/810886 из-за количества одновременных сеансов с сервером, совместно использующим папку. Кроме того, вы будете испытывать медленные запуски сайтов IIS, поскольку IIS захочет сканировать / индексировать / кэшировать (в зависимости от версии IIS и настроек ASP) папку UNC.

Я видел очень многообещающие тесты с DFS, на которых не было ни одного из перечисленных выше ограничений.

Answer 2

Хотя у нас нет этих миллионов гигабайт данных для управления, мы отправляем и собираем множество файлов в одночасье между нашей основной компанией и ее агентствами за рубежом. Мы использовали allwaysync некоторое время. Это позволяет синхронизировать папки / ftp. Он имеет приятный интерфейс, позволяющий анализировать и сравнивать папки и файлы, и, конечно, его можно запланировать.

Answer 3

Я успешно использовал сценарии rsync для этого типа работы, в нашем случае это тысячи машин. Я считаю, что есть сервер rsync для Windows, но я не использовал его ни на чем, кроме Linux.

Answer 4

Мы используем ROBOCOPY в моей организации для передачи файлов. Он работает очень легко, и я чувствую, что стоит рекомендации.

Кроме того, вы не делаете ничего слишком сумасшедшего. Если вы также опытный в Perl, я уверен, что вы могли бы написать быстрый скрипт, который будет отвечать вашим потребностям.