Как мне вставить новую строку перед конкатенацией?

Question

У меня есть около 80000 файлов, которые я пытаюсь объединить.Это:

cat files_*.raw >> All

очень быстро, тогда как следующее:

for f in `ls files_*.raw`; do cat $f >> All; done;

очень медленно.По этой причине я пытаюсь придерживаться первого варианта, за исключением того, что мне нужно иметь возможность вставлять новую строку после того, как каждый файл объединен в All.Есть ли быстрый способ сделать это?

Answer 1

А как же

ls files_*.raw | xargs -L1 sed -e '$s/$/\n/' >>ALL

Это будет вставлять дополнительную новую строку в конце каждого файла, когда вы их объединяете.

И параллельная версия, если вам не важен порядок конкатенации:

find ./ -name "*.raw" -print | xargs -n1 -P4 sed -e '$s/$/\n/' >>All

Answer 2

Вторая команда может быть медленной, потому что вы открываете файл «Все» для добавления 80000 раз против 1 раза в первой команде.Попробуйте простой вариант второй команды:

for f in `ls files_*.raw`; do cat $f ; echo '' ; done >> All

Answer 3

Каждый раз, когда awk открывает другой файл для обработки, FRN равен 0, поэтому:

awk '(0==FRN){print ""} {print}' files_*.raw >> All

Обратите внимание, все это делается в одном процессе awk. Производительность должна быть близка к команде cat из вопроса.

Answer 4

Я не знаю, почему это будет медленно, но я не думаю, что у вас есть большой выбор:

for f in `ls files_*.raw`; do cat $f >> All; echo '' >> All; done