Как сравнить размеры файлов внутри двух каталогов, которые одинаковы внутри местоположения hdfs, используя python или оболочку? - PullRequest
0 голосов
/ 04 августа 2020

У меня в hdfs два каталога. когда я выполняю hadoop ls команду

мой первый каталог:

 $hadoop fs -ls /data/
-rw-r--r--   3 test test   258055811 2020-03-06 10:45 /data/log.cat
-rw-r--r--   3 test test   253135376 2020-03-06 10:45 /data/log0.cat
 -rw-r--r--   3 test test   2531353 2020-03-06 10:45 /data/log1.cat

мой второй каталог:

   $hadoop fs -ls /data1/
    -rw-r--r--   3 test test   258055811 2020-03-06 10:45 /data1/log.cat
    -rw-r--r--   3 test test   253135376 2020-03-06 10:45 /data1/log0.cat
-rw-r--r--   3 test test   2531353 2020-03-06 10:45 /data1/log1.cat

теперь я хочу сравнить размеры файлов внутри обоих каталогов одинаковые или нет, т.е. файлы внутри data и data1 имеют одинаковые размеры.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...