rsync удаляет так медленно - есть идеи? - PullRequest
1 голос
/ 10 марта 2011

У меня есть несколько экземпляров, работающих на Amazon EC2 (в тех же зонах доступности).

Я запускаю эту команду от мастера для обновления всех ведомых:

rsync -avz -e '$ssh -o StrictHostKeyChecking=no -i $keyfile' --delete --exclude 'logs/*' $dir_sync ec2-user@$server:$dir_sync

Все отлично работает, кроме - удаления такие медленные .

На файл размером 400-600 МБ уходит не менее 2 минут.

Разве это не должно просто моргнуть?

Любая подсказка?

Обновление:

На самом деле, я вошел в ведомый экземпляр и попробовал rm file, и это заняло столько же времени, поэтому я предполагаю, что это не проблема rsync, а проблема с файловой системой.

Возникает вопрос ... как, черт возьми, быстро запаковать файл?

Он работает на экземпляре Large EC2, а файлы занимают всего 400 МБ ... Неужели для удаления требуется 40-120 секунд?

1 Ответ

1 голос
/ 14 июля 2011

Lee,

Это может произойти по нескольким причинам:

  • Проблема с диском.Я сомневаюсь, что это так, так как вы в EC2
  • Параметры жесткого диска настроены неправильно.Очень редко, но все же возможна
  • Общая высокая активность ввода / вывода, которая замедляет работу.Если сервер находится под большой рабочей нагрузкой, это может повлиять на каждое действие, включая удаление файла
  • Файлы используются другими приложениями, что приводит к более длительному удалению

2-гоМне кажется, что это направление, в котором вы должны направить свои усилия.Это либо неудачный выбор файловой системы, либо кто-то мог попытаться настроить параметры HD и перемешать.

Удачи!Dotan

...