Как защитить данные моего файла от повреждения диска?

Question

Недавно я прочитал статью под названием «Надежность SATA и SCSI» . В основном обсуждается очень высокая скорость переброса битов в пользовательских дисках SATA и делается вывод «56% вероятности того, что вы не сможете сейчас прочитать все данные с определенного диска». Даже Raid-5 не может спасти нас, так как он должен постоянно сканироваться на наличие проблем, и если диск умирает, у вас наверняка есть несколько битов в восстановленной файловой системе.

Вопросы:

Я слышал замечательные вещи о ZFS от Sun с Raid-Z , но реализации Linux и BSD все еще являются экспериментальными. Я не уверен, что он готов к прайм-тайм.

Я также немного прочитал о формате файла Par2 . Похоже, что сохранение некоторого дополнительного% четности вместе с каждым файлом позволит вам избавиться от большинства проблем. Однако мне неизвестна файловая система, которая делает это внутренне, и кажется, что управлять отдельными файлами может быть сложно.

Резервные копии (Изменить):

Я понимаю, что резервные копии имеют первостепенное значение. Однако без какой-либо проверки вы могли бы легко отправлять плохие данные людям, даже не подозревая об этом. Также может быть сложно определить, какая резервная копия содержит хорошую копию этих данных.

Например, у вас есть массив Raid-5, работающий в течение года, и вы нашли поврежденный файл. Теперь вы должны вернуться к проверке резервных копий, пока не найдете хорошую копию. В идеале вы должны перейти к первой резервной копии, которая содержит файл, но это может быть трудно понять, особенно если файл редактировался много раз. Хуже того, подумайте, был ли этот файл добавлен или отредактирован после повреждения. Одной этой причины достаточно для четности на уровне блоков, такой как Par2.

Answer 1

Эта статья значительно преувеличивает проблему, неправильно понимая источник. Предполагается, что события потери данных независимы, т. Е. Если я возьму тысячу дисков и получу пятьсот ошибок, то это будет по одному на пятьсот дисков. Но на самом деле, как известно любому, кто имел проблемы с диском, это, вероятно, пятьсот ошибок на одном диске (по-прежнему незначительная часть общей емкости диска), а остальные девятьсот девяносто девять были в порядке. Таким образом, на практике это не значит, что 56% вероятности того, что вы не сможете прочитать весь свой диск, скорее это скорее всего 1% или меньше, но большинство людей в этом 1% обнаружат, что потеряли десятки или сотни секторов, даже если диск в целом не вышел из строя.

Конечно, практические эксперименты отражают это понимание, а не то, что предлагается в статье.

По сути, это пример "китайского шепота". Ссылка на статью относится к другой статье, которая в свою очередь косвенно относится к опубликованной статье. В документе говорится, что, конечно, эти события не являются независимыми , но этот жизненно важный факт исчезает при переходе на легко усваиваемый формат блога.

Answer 2

ZFS - это начало. Многие поставщики систем хранения также предоставляют дискам 520B дополнительную защиту данных. Однако это защищает ваши данные, как только они поступают в хранилище данных. Если он был поврежден на уровне хоста, то вы все равно попадаете.

На горизонте есть многообещающие основанные на стандартах решения этой самой проблемы. Сквозная защита данных.

Рассмотрим T10 DIF (поле целостности данных). Это новый стандарт (он был разработан 5 лет назад) и новая технология, но он имеет высокую цель решения проблемы повреждения данных.

Answer 3

56% вероятности, что я не могу что-то прочитать, я в этом сомневаюсь. Я использую смесь RAID 5 и других вкусностей и просто хорошие методы резервного копирования, но с Raid 5 и горячим резервом у меня никогда не было потери данных, поэтому я не уверен, в чем суть. Если вы храните информацию о четности ... хорошо, вы создаете систему RAID с использованием программного обеспечения, сбой диска в R5 приводит к проверке четности, например, для возврата потерянных данных на диске, так что ... она уже там.

Запустите Raid, сделайте резервную копию ваших данных, все будет в порядке:)