Как создать хэш MD5 для файла, расположенного в URL Http?

Question

Я пишу сканер для поиска файлов и загрузки. Моя проблема в том, что я не хочу загружать те же файлы, которые уже загружены на локальный диск. Я знаю, что можно использовать хэш MD5 для сравнения, но как я могу сделать это по HTTP URL, не загружая их на локальный диск?

Если этот подход неверен. Пожалуйста посоветуйте лучшее решение

Answer 1

Если веб-сервер не имеет какой-либо службы, которая разделяет MD5, тогда нет.

Для вычисления хэша файла требуется каждый байт в файле. Вот почему изменение одного байта изменяет хеш, чтобы предотвратить получение измененных файлов.

Answer 2

Чтобы сгенерировать хеш, вам понадобятся данные (т.е. вам нужно как-то их загрузить).

Я бы посоветовал вам использовать вместо этого заголовок HTTP If-Modified-Since (или, может быть, ETag / If-None-Match, если его предоставляет конкретный сервер).

Answer 3

Единственное сравнение, которое вы сможете выполнить для удаленного файла, - это сравнение размера.К сожалению, этого, вероятно, недостаточно для определения того, что содержимое идентично или нет.