Я перенес файл из локальной файловой системы в HDFS с помощью команды put. Теперь я хочу проверить, поврежден ли мой файл или нет. Я использовал команду контрольной суммы, чтобы проверить значения контрольной суммы обоих файлов.
После выполнения команды контрольной суммы для файла в HDFS я обнаружил, что они используют MD5SUM для вычисления контрольной суммы. Я также вычислил контрольную сумму файла в локальной файловой системе с помощью команды MD5SUM и обнаружил, что обе контрольные суммы различны.
Как показано на рисунке, похоже, что что-то связано с алгоритмом, который HDFS использует для вычисления контрольной суммы. Но я хочу знать, как мы можем проверить, что переданный файл из локальной файловой системы такой же, как и в локальной файловой системе.
