Существует много различных хэш-формулировок, и наилучшее решение - это функция различных параметров, включая количество файлов, которые вы ожидаете получить за время существования сайта, насколько плохо было бы иметь несколько дубликатов, какова мощность ЦП. Вы можете посвятить хэш-функции и т. д.
Здесь - это одна интересная 64-битная хеш-функция, которую я нашел в Википедии, которая должна быть очень быстрой для вычисления и должна обеспечивать разумные свойства столкновения. Также изучите другие хеш-функции, связанные с этой страницей, одна из которых обязательно будет именно тем, что вам нужно.