Альтернатива созданию многочастных файлов .tar.gz?

Question

У меня есть папка с> 20 ГБ изображений на сервере Linux, мне нужно сделать резервную копию и загрузить ее, поэтому я думал об использовании «split» для создания файлов 1 ГБ. Мой вопрос: вместо того, чтобы разбивать файл .tar.gz и затем снова присоединять его на моем компьютере, есть ли способ создать 20 x 1 ГБ действительных файлов .tar.gz, чтобы я мог затем просматривать / извлекать их отдельно?

Редактировать: я забыл добавить, что мне нужно сделать это без доступа SSH. Я использую в основном PHP.

Answer 1

Вы можете попробовать rsnapshot для резервного копирования, используя вместо этого rsync / hardlinks. Он не только решает проблему с размером файла, но также дает вам высокую эффективность хранения и пропускной способности, когда существующие изображения не часто меняются.

Answer 2

Во-первых, я бы пропустил rsnapshot, если у вас нет доступа по SSH. (Хотя мне это нравится и нравится)

Я предполагаю, что вы, скорее всего, создаете резервные копии в формате JPEG, и они уже сжаты. Сжатие их не делает их намного меньше, к тому же вам не нужны файлы размером 1 ГБ. Похоже, они могут быть немного больше или меньше.

Таким образом, вы можете просто написать скрипт, который объединяет jpegs в gz (или что-то еще), пока он не поместит около 1 ГБ, и затем запустит новый архив.

Вы можете сделать все это в PHP достаточно легко.

Answer 3

Почему бы просто не использовать rsync?

К вашему сведению, rsync - это инструмент командной строки, который синхронизирует каталоги между двумя компьютерами в сети. Если у вас Linux на обоих концах и доступ по ssh настроен правильно, это так же просто, как rsync -av server:/path/to/images/ images/ (убедитесь, что конечные слэши есть) Он также оптимизирует последующие синхронизации, так что передаются только изменения. Вы даже можете сказать, что нужно сжимать данные при передаче, но это обычно не помогает с изображениями.