Я работаю в среде Unix и работаю с сжатыми файлами размером несколько ГБ. Я протестировал следующие команды, используя сжатый файл размером 2 ГБ с длиной записи 2052.
zcat <gzipped file> | wc -L
и
zcat <gzipped file> | awk '{print length}' | sort -u
Время было в среднем
117 секунд
109 секунд
Вот мой сценарий после примерно 10 запусков.
START=$(date +%s) ## time of start
zcat $1 | wc -L
END=$(date +%s) ## time of end
DIFF=$(( $END - $START ))
echo "It took $DIFF seconds"
START=$(date +%s) ## time of start
zcat $1 | awk '{print length}' | sort -u
END=$(date +%s) ## time of end
DIFF=$(( $END - $START ))
echo "It took $DIFF seconds"