Могу ли я предотвратить дублирование контента с помощью md5?

Question

Я бы хотел предотвратить дублирование контента. Я не хочу хранить копии контента, поэтому я решил оставить только подписи md5.

Я читал, что конфликты md5 случаются, разный контент может выдавать одну и ту же подпись md5.

Как вы думаете, достаточно md5?

Должен ли я использовать md5 и sh1 вместе?

Answer 1

Люди могут сознательно создавать коллизии MD5 при надуманных обстоятельствах, но для предотвращения дублирования контента (при отсутствии злоумышленников) этого более чем достаточно.

Сказав это, если вы можете использовать SHA-1 (или SHA-2), вы должны - вы будете немного, но в значительной степени защищены от столкновений.

Answer 2

MD5 должно быть в порядке, столкновения очень редки, но если вы действительно беспокоитесь, вы также можете использовать sha-1.

Хотя я полагаю, что подписи на самом деле не такие большие, поэтому, если у вас есть свободные циклы обработки и дисковое пространство, вы можете сделать и то, и другое. Но если пространство или скорость ограничены, я бы просто пошел с одним.

Answer 3

Почему бы просто не сравнить байты контента с байтами, если есть коллизия хешей? коллизии хэшей очень редки, и поэтому вам придется делать байты только для проверки байтов очень редко. Таким образом, дубликаты будут обнаружены только в том случае, если элементы действительно дублируются

Answer 4

Объединение алгоритмов служит только для запутывания, но не повышает безопасность в алгоритме хеширования.

MD5 слишком сломан, чтобы использовать в любом случае, ИМХО. Подделка хешей MD5 доказана исследователями, которые продемонстрировали способность подделывать контент, который генерирует коллизию MD5, открывая тем самым возможность для создания поддельного CSR для покупки сертификата у RapidSSL для доменного имени, которое им не принадлежит. Безопасность сейчас! эпизод 179 объясняет процесс .

Для меня хэши на основе SHA сильнее, и большинство платформ поддержки поддерживают их, поэтому выбор прост. Тогда оставшимся решающим фактором является размер блока.

Answer 5

Если вы действительно боитесь случайных столкновений, просто сделайте хеши MD5 и SHA1 и сравните их. Если они оба совпадают, это один и тот же контент. Если один из них отличается, это другой контент.

Answer 6

md5 должно быть достаточно. Да, возможны столкновения, но шансы на это настолько малы, что я бы не стал беспокоиться об этом, если бы вы буквально не отслеживали многие миллиарды фрагментов контента.

Answer 7

Отметка времени + md5 вместе достаточно безопасны.

Answer 8

MD5 сломан и SHA1 близок к нему. Используйте SHA2.

редактировать

Основываясь на обновлении от OP, не кажется, что преднамеренные столкновения являются серьезной проблемой здесь. Для непреднамеренных будет вполне приемлем любой приличный хеш с хотя бы 64-битным выводом.

В общем, я бы по-прежнему избегал MD5 и даже SHA1, но нет никаких оснований для догматизма. Если инструмент подходит здесь, то обязательно используйте его.