Является ли вычисление MD5-хеша менее интенсивным процессором, чем функции семейства SHA? - PullRequest
103 голосов
/ 27 апреля 2010

Является ли вычисление MD5-хеша менее интенсивным процессором, чем SHA-1 или SHA-2 на «стандартном» ноутбуке x86?Меня интересует общая информация, не относящаяся к конкретному чипу.

ОБНОВЛЕНИЕ: В моем случае меня интересует вычисление хэша файла.Если размер файла имеет значение, давайте предположим, что он равен 300 КБ.

Ответы [ 5 ]

113 голосов
/ 27 апреля 2010

Да, MD5 несколько меньше загружает процессор. На моем Intel x86 (Core2 Quad Q6600, 2,4 ГГц, используя одно ядро) я получаю это в 32-битном режиме:

MD5       411
SHA-1     218
SHA-256   118
SHA-512    46

и это в 64-битном режиме:

MD5       407
SHA-1     312
SHA-256   148
SHA-512   189

Цифры указаны в мегабайтах в секунду для «длинного» сообщения (это то, что вы получаете для сообщений длиннее 8 КБ). Это с sphlib , библиотекой реализаций хеш-функций в C (и Java). Все реализации принадлежат одному и тому же автору (мне) и были сделаны с сопоставимыми усилиями по оптимизации; таким образом, разница в скорости может рассматриваться как действительно присущая функциям.

Для сравнения рассмотрим, что недавний жесткий диск будет работать со скоростью около 100 МБ / с, а все, что через USB, превысит 60 МБ / с. Несмотря на то, что SHA-256 здесь выглядит «медленным», он достаточно быстр для большинства целей.

Обратите внимание, что OpenSSL включает 32-битную реализацию SHA-512, которая намного быстрее моего кода (но не так быстро, как 64-битная SHA-512), потому что реализация OpenSSL находится в сборка и использование регистров SSE2, чего нельзя сделать простым языком C. SHA-512 - единственная функция среди тех четырех, которая выигрывает от реализации SSE2.

Редактировать: на на этой странице , можно найти отчет о скорости выполнения многих хэш-функций (нажмите на ссылку «Telechargez maintenant»). Отчет составлен на французском языке, но в основном он содержит таблицы и цифры, а цифры являются международными. Реализованные хеш-функции не включают кандидатов SHA-3 (кроме SHABAL), но я работаю над этим.

42 голосов
/ 10 марта 2013

На моем MacBook Air 2012 года (Intel Core i5-3427U, 2x 1,8 ГГц, 2,8 ГГц Turbo) SHA-1 немного быстрее, чем MD5 (при использовании OpenSSL в 64-битном режиме):

$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              30055.02k    94158.96k   219602.97k   329008.21k   384150.47k
sha1             31261.12k    95676.48k   224357.36k   332756.21k   396864.62k

Обновление: 10 месяцев спустя с OS X 10.9, SHA-1 стал медленнее на той же машине:

$ openssl speed md5 sha1
OpenSSL 0.9.8y 5 Feb 2013
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              36277.35k   106558.04k   234680.17k   334469.33k   381756.70k
sha1             35453.52k    99530.85k   206635.24k   281695.48k   313881.86k

Второе обновление: В OS X 10.10 скорость SHA-1 вернулась к уровню 10,8:

$ openssl speed md5 sha1
OpenSSL 0.9.8zc 15 Oct 2014
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              35391.50k   104905.27k   229872.93k   330506.91k   382791.75k
sha1             38054.09k   110332.44k   238198.72k   340007.12k   387137.77k
10 голосов
/ 31 октября 2014

Реальный ответ: Это зависит

Необходимо учитывать несколько факторов, наиболее очевидными из которых являются: процессор, на котором вы запускаете эти алгоритмы, и реализация алгоритмов.

Например, я и мой друг работаем с одной и той же версией openssl и получаем несколько разные результаты с разными процессорами Intel Core i7.

Мой тест на работе с процессором Intel® Core ™ TM i7-2600 @ 3,40 ГГц

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              64257.97k   187370.26k   406435.07k   576544.43k   649827.67k
sha1             73225.75k   202701.20k   432679.68k   601140.57k   679900.50k

И его с процессором Intel (R) Core (TM) i7 920 @ 2,67 ГГц

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              51859.12k   156255.78k   350252.00k   513141.73k   590701.52k
sha1             56492.56k   156300.76k   328688.76k   452450.92k   508625.68k

Мы оба работаем с одинаковыми двоичными файлами OpenSSL 1.0.1j 15 октября 2014 года из официального пакета ArchLinux.

Мое мнение по этому поводу состоит в том, что с добавленной безопасностью sha1 разработчики процессоров с большей вероятностью улучшат скорость sha1, и больше программистов будут работать над оптимизацией алгоритма, чем md5sum.

Я полагаю, что md5 больше не будет использоваться когда-нибудь, так как кажется, что он не имеет преимущества перед sha1. Я также проверил некоторые случаи на реальных файлах, и результаты всегда были одинаковыми в обоих случаях (вероятно, ограничены дисковым вводом / выводом).

md5sum большого файла объемом 4,6 ГБ занял то же время, что и sha1sum того же файла, то же самое относится ко многим маленьким файлам (488 в том же каталоге). Я проводил тесты десятки раз, и они постоянно получали одинаковые результаты.

-

Было бы очень интересно исследовать это дальше. Я предполагаю, что есть некоторые эксперты, которые могли бы дать четкий ответ, почему sha1 работает быстрее, чем md5 на более новых процессорах.

1 голос
/ 05 июня 2010

MD5 также выигрывает от использования SSE2, проверьте BarsWF, а затем скажите, что это не так. Все, что вам нужно, это немного знаний ассемблера, и вы можете создать свою собственную подпрограмму (ы) MD5 SSE2. Однако при больших объемах пропускной способности существует компромисс между скоростью во время хеширования и временем, затрачиваемым на перегруппировку входных данных для обеспечения совместимости с используемыми инструкциями SIMD.

0 голосов
/ 17 мая 2019

sha1sum на Power9 немного быстрее, чем md5sum

$ uname -mov
#1 SMP Mon May 13 12:16:08 EDT 2019 ppc64le GNU/Linux

$ cat /proc/cpuinfo
processor       : 0
cpu             : POWER9, altivec supported
clock           : 2166.000000MHz
revision        : 2.2 (pvr 004e 1202)

$ ls -l linux-master.tar
-rw-rw-r-- 1 x x 829685760 Jan 29 14:30 linux-master.tar

$ time sha1sum linux-master.tar
10fbf911e254c4fe8e5eb2e605c6c02d29a88563  linux-master.tar

real    0m1.685s
user    0m1.528s
sys     0m0.156s

$ time md5sum linux-master.tar
d476375abacda064ae437a683c537ec4  linux-master.tar

real    0m2.942s
user    0m2.806s
sys     0m0.136s

$ time sum linux-master.tar
36928 810240

real    0m2.186s
user    0m1.917s
sys     0m0.268s
...