Как выполнить rsync для всех серверов Amazon EC2? - PullRequest
2 голосов
/ 03 июля 2010

У меня есть кластер Scalr EC2, и я хочу простой способ синхронизации файлов во всех экземплярах.

Например, у меня есть набор файлов в / var / www в одном экземпляре, я хочу бытьвозможность идентифицировать все другие хосты, а затем выполнить rsync для каждого из этих хостов для обновления их файлов.

ls / etc / aws / hosts / app /

возвращает IP-адреса всех остальных экземпляров

10.1.2.3 10.1.33.2 10.166.23.1

Идеи?

1 Ответ

2 голосов
/ 28 июля 2010

Как сказал Зак, вы можете использовать S3 .

  • Вы можете скачать один из множества клиентов для подключения дисков к S3.(найдите S3 и webdav).
  • Если бы я собирался пойти по этому пути, я бы настроил корзину S3 со всеми моими общими файлами и использовал jetS3 в cronJob для синхронизации локального узла каждого узла.доехать до ковша (снося обновления ковша S3).Тогда, поскольку я обычно использую eclipse & ant для сборки, я бы создал задание ANT для развертывания обновлений в корзину S3 (загрузка обновлений в корзину S3).

С http://jets3t.s3.amazonaws.com/applications/synchronize.html

Usage: Synchronize [options] UP <S3Path> <File/Directory>

(...) или: Синхронизировать [опции] ВНИЗ

UP      : Synchronize the contents of the Local Directory with S3.
DOWN    : Synchronize the contents of S3 with the Local Directory
...

Я бы порекомендовал вышеуказанное решение, если вам не нужен файл с несколькими узламизамок.Это просто, и каждая система может просто извлекать данные из центрального местоположения.

Если вам нужно больше межузловой блокировки:

Идеальным решением было бы использование IBM GPFS , но IBM не просто отказывается от нее (по крайней мере, нет).еще).Несмотря на то, что он предназначен для высокопроизводительных межсоединений, он также может использоваться для более медленных соединений.Мы использовали его как замену NFS, и это было удивительно быстро (примерно в 3 раза быстрее, чем NFS).Там может быть что-то подобное, что с открытым исходным кодом, но я не знаю.РЕДАКТИРОВАТЬ: OpenAFS может хорошо работать для построения кластерной файловой системы на многих экземплярах EC2.

Вы оценивали использование NFS?Возможно, вы могли бы выделить один экземпляр в качестве хоста NFS.

...