Ищите «сборку файловой системы хранения», которая может объединять дубликаты и аналогичные файлы для увеличения пространства хранения

Question

Нашему магазину постоянно не хватает места на диске, потому что у нас есть поручение разработчиков и руководства сохранить все ночные сборки, поскольку это значительно облегчает отладку.

В каждой сборке обычно мало изменений. Однако почти каждый файл отличается от одной сборки к другой, поскольку компилятор и компоновщик вставляют метки даты / времени (и версии) в объекты и исполняемые файлы.

Таким образом, вопрос: кто-нибудь знает о файловой системе, которая не только может «объединять дубликаты файлов», но и «объединять похожие файлы», поскольку эти файлы имеют размер от нескольких КБ до МБ, но только несколько байтов на файл были изменены? (Даже с изменениями кода влияние на исполняемые файлы, как правило, будет незначительным, если только основной заголовок или библиотека не будут изменены и т. Д.)

Answer 1

Почему не традиционная система контроля версий?

Вы начинаете первую сборку за всю историю, а затем фиксируете последовательность друг за другом. Если файл является дубликатом, дельта не будет создана. Если он имеет модификацию, он будет хранить только изменение.

Разве это не то, что вы просили?

Answer 2

Opensolaris и ZFS.

http://blogs.oracle.com/bonwick/entry/zfs_dedup

Answer 3

Это решение для бедного человека, но если сборка хранилища является важным финансовым решением, то я думаю, что этот ответ оправдан. :)

Во-первых, крайне маловероятно, что вы найдете совершенно новую систему управления хранилищем / источником, которая делает этот тип сложных файловых ссылок меньше, чем вы могли бы просто заплатить за новое хранилище .

Как насчет сохранения сборок за последние 2 месяца на дорогом хранилище (например, RAID), а затем найдите себе дешевое хранилище для архивирования (то есть USB-накопитель емкостью 1 ТБ, о котором кто-то упоминал).

Напишите простое небольшое консольное приложение, которое запускается как запланированное задание каждую ночь и перемещает все файлы <2 месяца назад на диск архива. </p>

Answer 4

Как правило, мое мнение по этим темам звучит так: «Не пытайтесь найти выход из плохого управленческого решения».

Если они хотят сохранить столько старых файлов сборки, наберите «man up» и купите место (дисковое пространство дешево).

Если они не хотят покупать диски, наберите «man up» и выберите разумное количество сборок, чтобы оно не выходило за пределы доступного пространства.

Это не такая уж сложная проблема.

Дальше я бы пошел по этому пути, чтобы включить «сжатие диска» на диске, если он доступен, поскольку он обрабатывается ОС и не требует дополнительного приложения и поддержки, которая сопровождает его. Конечно, это небольшой удар по производительности - но это просто.

Сохраните сок "развития" для важных вещей. : -)

Answer 5

Я думаю, вы должны использовать приложение для удаления дубликатов файлов , которое будет для вас лучшим решением, я использую программное обеспечение для удаления дубликатов файлов, которое называется duplicate finder 2009.

Answer 6

За небольшую часть усилий по установке и поддержке новой схемы управления файлами я бы купил больше жестких дисков. Вчера вечером я был в Фрисе, и они продавали внешний диск емкостью 1 ТБ за 100 долларов; это USB-накопитель, все, что вам нужно сделать, это подключить его. Если он заполнен, просто купите другой. Выступая в качестве разработчика, я был бы удивлен, если бы ваш магазин действительно хотел удерживать сборки бесконечно - я подозреваю, что ценность ночных сборок будет низкой через некоторое количество месяцев.

Это не элегантное решение, но оно может быть более экономичным.

Answer 7

Скорее всего, вам нужна файловая система или менеджер томов с прозрачным сжатием. Производительность, естественно, будет ухудшена, но если вы используете легкое сжатие, это не должно быть слишком большой проблемой.

Answer 8

Я думаю, что это делает cramfs, но создание образов cramfs (которые доступны только для чтения) может быть головной болью.

Хм .. Зачем вам нужно архивировать сборки? Разве не должно быть тривиально воссоздать сборку из предыдущей версии с управлением исходным кодом?