Найти дубликаты с помощью md5sum

Question

У меня есть двойной цикл, который открывает файлы и использует awk, чтобы взять первый раздел и второй раздел каждой строки. Первый раздел - это md5sum файла, а второй блок - это имя файла. Однако, когда я запускаю скрипт, чтобы увидеть, есть ли у меня дубликаты файлов, file1 штрафует file1, и поэтому он думает, что они являются дубликатами, даже если они являются одним и тем же файлом. Вот мой код:

echo start
for i in $(<dump.txt) ; do
    md=$(echo $i|awk -F'|' '{print $1}')
    file=$(echo $i|awk -F'|' '{print $2}')
    for j in $(<dump.txt) ; do
        m=$(echo $j|awk -F'|' '{print $1}')
        f=$(echo $j|awk -F'|' '{print $2}')
        if [ "$md" == "$m" ]; then
            echo $file and $f are duplicates
        fi
    done
done
echo end

Файл дампа выглядит так:

404460c24654e3d64024851dd0562ff1 *./extest.sh
7a900fdfa67739adcb1b764e240be05f *./test.txt
7a900fdfa67739adcb1b764e240be05f *./test2.txt
88f5a6b83182ce5c34c4cf3b17f21af2 *./dump.txt
c8709e009da4cce3ee2675f2a1ae9d4f *./test3.txt
d41d8cd98f00b204e9800998ecf8427e *./checksums.txt

Весь код:

#!/bin/sh
func ()  
{
if [ "$1" == "" ]; then
echo "Default";
for i in `find` ; 
do
    #if [ -d $i ]; then
        #echo $i "is a directory";
    #fi
    if [ -f $i ]; then
        if [ "$i" != "./ex.sh" ]; then
            #echo $i "is a file";
            md5sum $i >> checksums.txt;
            sort --output=dump.txt checksums.txt;
        fi
    fi
done
fi

if [ "$1" == "--long" ]; then
echo "--long";
for i in `find` ; 
do
    #if [ -d $i ]; then
        #echo $i "is a directory";
    #fi
    if [ -f $i ]; then
        echo $i "is a file";        
    fi
done
fi

if [ "$1" == "--rm" ]; then
echo "--rm";
for i in `find` ; 
do
    #if [ -d $i ]; then
        #echo $i "is a directory";
    #fi
    if [ -f $i ]; then
        echo $i "is a file";        
    fi
done
fi
}

parse () {
echo start
for i in $(<dump.txt) ; do
    md=$(echo $i|awk -F'|' '{print $1}')
    file=$(echo $i|awk -F'|' '{print $2}')
    for j in $(<dump.txt) ; do
        m=$(echo $j|awk -F'|' '{print $1}')
        f=$(echo $j|awk -F'|' '{print $2}')
        #echo $md
        #echo $m
        if [ "$file" != "$f" ] && [ "$md" == "$m" ]; then
            echo Files $file and $f are duplicates.
        fi
    done
done
echo end
}

getArgs () {
if [ "$1" == "--long" ]; then
    echo "got the first param $1";
else
    if [ "$1" == "--rm" ]; then
        echo "got the second param $1";
    else
        if [ "$1" == "" ]; then
            echo "got default param";
        else
            echo "script.sh: unknown option $1";
            exit;
        fi  
    fi
fi
}


#start script
cat /dev/null > checksums.txt;
cat /dev/null > dump.txt;
getArgs $1;
func $1;
parse;
#end script

Answer 1

Все довольно просто:

if [ "$file" != "$f" ] && [ "$md" = "$m" ]; then
  echo "Files $file and $f are duplicates."
fi

Обратите внимание, что я изменил оператор сравнения с == на =, что является обычной формой. Я также окружил сообщение двойными кавычками, чтобы было ясно, что это одна строка и что я не хочу, чтобы расширение word происходило с двумя переменными file и f.

[Обновление:]

Другой способ найти дубликаты, который намного быстрее, - использовать awk для обработки строк:

awk -F'|' '
  NF == 2 {
    if (fname[$1] != "") {
      print("Files " fname[$1] " and " $2 " are duplicates.");
    }
    fname[$1] = $2;
  }
' dump.txt

Answer 2

вам на самом деле не нужен цикл или два цикла, если вы решили решить их с помощью awk.Это что-то вроде ядерной головы в обработке текста.

   awk -F'|' '{if($1 in a)print "duplicate found:" $0 " AND "a[$1];else a[$1]=$0 }' yourfile

принесет то, что вам нужно.конечно текстовая информация, которую вы можете настроить.

см. тест ниже

kent$  cat md5chk.txt 
abcdefg|/foo/bar/a.txt
bbcdefg|/foo/bar2/ax.txt
cbcdefg|/foo/bar3/ay.txt
abcdefg|/foo/bar4/a.txt
1234567|/seven/7.txt
1234568|/seven/8.txt
1234567|/seven2/7.txt


kent$  awk -F'|' '{if($1 in a)print "duplicate found:" $0 " AND "a[$1];else a[$1]=$0 }' md5chk.txt
duplicate found:abcdefg|/foo/bar4/a.txt AND abcdefg|/foo/bar/a.txt
duplicate found:1234567|/seven2/7.txt AND 1234567|/seven/7.txt

обновлено

awk     # the name of the tool/command
-F'|'   # declare delimiter is "|"
'{if($1 in a)  # if the first column was already saved
print "duplicate found:" $0 " AND "a[$1];  # print the info
else    # else
a[$1]=$0 }'  # save in an array named a, index=the 1st column (md5), value is the whole line.
yourfile  # your input file