Какова хорошая стратегия для генерации уникальных хеш-ключей для очень большой коллекции изображений в Python?

Question

У меня есть список миллионов файлов, и я загружаю их в Amazon S3.Мне нужно создать уникальные ключи для каждого из изображений.Я бы предпочел не использовать md5, потому что он требует сканирования всего файла, что может быть медленным.Кроме того, могут быть дубликаты изображений, что разрешено в нашем приложении.Любое предложение для быстрой генерации почти гарантированно уникального ключа?Предпочтительно, 32-значный буквенно-цифровой (может быть с учетом регистра).Спасибо!

Answer 1

Я бы не назвал это хешем, поскольку это подразумевает создание уникального значения на основе содержимого файла.

Вместо этого UUID может быть тем, что вы ищете.

Answer 2

Просто используйте хеш MD5 для фактического ФАЙЛА после того, как он был загружен и сохранен.

http://docs.python.org/library/md5.html

Примените хеш к таблице базы данных или, тем не менее, сохраните ее.

Answer 3

MD5 для datetime.now () (во время загрузки файла) будет в порядке, imho.