Самый быстрый алгоритм хеширования для текстовых данных

Question

Я пытаюсь выбрать алгоритм хеширования для сравнения около 20 различных текстовых данных.

Какой хеш лучше подходит для этих требований?

• Меньше потребления процессора
• Маленький размер (<= 32 байта) </li>
• Столкновение не имеет большого значения
• Может быть сгенерировано из .NET Framework 2 (не должно быть сторонней библиотекой)

Я использую хеш для уменьшения объема памяти и производительности сравнения

Answer 1

Если столкновение не имеет большого значения, вы можете взять первую букву каждого документа. Или вы можете использовать длину текста или строку с текстом.

Answer 2

Paul Hsieh имеет приличную, простую, быструю, 32-битную SuperFastHash , которая работает лучше, чем большинство существующих хеш-функций, проще для понимания / реализации и звучит так, как будто она соответствует вашим критериям.

Answer 3

Хэш FNV - это хорошо известный алгоритм быстрого хеширования. Это не криптографически безопасно, но похоже, что вам не нужен безопасный хеш.

Answer 4

Очень быстрая проверка состояла бы в том, чтобы взять длину текста и XOR с первыми 4 байтами и использовать его как хеш. Если это достаточно хорошо, это очень быстро, потому что не зависит от количества байтов файла.

Answer 5

У меня был такой же запрос для myselve, и я реализовал xxHashSharp . Просто убедитесь, что вы берете соответствующую библиотеку (x32 против x64). Это также доступно за пределами c # здесь

Answer 6

Как долго нужно хранить хэш? GetHashCode() довольно доступно, дает небольшой ответ (4 байта), который должен быть в порядке (минимизировать коллизии) для 20 строк.

Тем не менее, GetHashCode() не следует сохранять в базе данных - это нормально для сравнения в памяти, хотя. Просто имейте в виду, что алгоритм может меняться между структурами (и сделал между 1.1 и 2.0).

Другим преимуществом этого является то, что тривиально использовать - просто используйте Dictionary<string,Something>, который будет иметь дело со всеми хэшированием и т. Д.

Answer 7

Ознакомьтесь с серией Питера Карковского, опубликованной в его блоге.

Answer 8

Если вы ограничены алгоритмами, существующими в структуре

Достаточно ли мал MD5 (16 байт)?

Меньшее потребление ресурсов процессора и малая площадь, как правило, являются взаимоисключающими.

http://en.wikipedia.org/wiki/Time-space_tradeoff