Автоматическое обнаружение изменений файла и синхронизация через S3

Question

У меня есть локальный каталог медиа-файлов в системе Linux, который я синхронизирую с учетной записью Amazon S3, используя скрипт s3sync.В настоящее время я вручную запускаю сценарий s3sync, когда знаю, что файлы мультимедиа были изменены.

Как автоматически запускать сценарий при изменении файлов?

Я думал о созданииЗадание cron для запуска скрипта каждые несколько минут, но это кажется чрезмерным объемом обработки, потому что, даже если нет никаких изменений, скрипту все равно приходится сканировать всю структуру каталогов, которая довольно велика.

Я также рассмотрел incron / inotify , который позволяет запускать команды при изменении конкретного файла или каталога, но эти инструменты, по-видимому, не поддерживают автоматическое отслеживание изменений во всей вложенной папке.Поправьте меня, если я ошибаюсь, но кажется, что incron / inotify может отслеживать только те файлы, о которых им было явно сказано.Например, если бы я хотел отслеживать изменения всех файлов на любом уровне внутри каталога, мне пришлось бы написать отдельные сценарии для отслеживания добавления и удаления каталогов и файлов, чтобы обновить список файлов и каталогов, отслеживаемых incron.

Есть ли более эффективные решения?

Answer 1

Для такого рода задач я использую fssm gem.

создать файл watcher.rb

require 'fssm'

FSSM.monitor('/dir_to_watch/', '**/*') do
  update {|base, relative| `your_script` }
  delete {|base, relative| `your_script` }
  create {|base, relative| `your_script` }
end

, то:

ruby watcher.rb

Конечно, вы можете демонизировать это, если хотите.

Answer 2

Вот пример сценария, который вы можете использовать вместо этого и использовать простой скрипт rsync.

http://andrewwilkinson.wordpress.com/2011/01/14/rsync-backups-to-amazon-s3/

В основном означает использование fuse и s3fs (http://code.google.com/p/s3fs/) для монтирования s3поделиться в качестве каталога в вашей локальной файловой системе и использовать rsync для синхронизации 2. Простое задание cron поможет.

Answer 3

Теперь есть эффективное решение. Это было только что объявлено (давно пора):
http://aws.amazon.com/blogs/aws/s3-event-notification/

Это очень просто реализовать - пора выбросить все уродливые задания и циклы cron.