Перебирая содержимое файла в Bash

Question

Как перебрать каждую строку текстового файла с помощью Bash ?

С помощью этого скрипта:

echo "Start!"
for p in (peptides.txt)
do
    echo "${p}"
done

Я получаю этот вывод на экране:

Start!
./runPep.sh: line 3: syntax error near unexpected token `('
./runPep.sh: line 3: `for p in (peptides.txt)'

(Позже я хочу сделать что-то более сложное с $p, чем просто вывод на экран.)

---

Переменная окружения SHELL (из env):

SHELL=/bin/bash

/bin/bash --version выход:

GNU bash, version 3.1.17(1)-release (x86_64-suse-linux-gnu)
Copyright (C) 2005 Free Software Foundation, Inc.

cat /proc/version вывод:

Linux version 2.6.18.2-34-default (geeko@buildhost) (gcc version 4.1.2 20061115 (prerelease) (SUSE Linux)) #1 SMP Mon Nov 27 11:46:27 UTC 2006

Файл peptides.txt содержит:

RKEKNVQ
IPKKLLQK
QYFHQLEKMNVK
IPKKLLQK
GDLSTALEVAIDCYEK
QYFHQLEKMNVKIPENIYR
RKEKNVQ
VLAKHGKLQDAIN
ILGFMK
LEDVALQILL

Answer 1

Один из способов сделать это:

while read p; do
  echo "$p"
done <peptides.txt

Как указано в комментариях, это имеет побочные эффекты: обрезание начальных пробелов, интерпретация последовательностей обратной косой черты и пропуск задней строки, если в ней отсутствует завершающий перевод строки. Если это проблемы, вы можете сделать:

while IFS="" read -r p || [ -n "$p" ]
do
  printf '%s\n' "$p"
done < peptides.txt

---

В исключительных случаях, если тело цикла может считывать данные из стандартного ввода , вы можете открыть файл, используя другой файловый дескриптор:

while read -u 10 p; do
  ...
done 10<peptides.txt

Здесь 10 - просто произвольное число (отличное от 0, 1, 2).

Answer 2

cat peptides.txt | while read line
do
   # do something with $line here
done

Answer 3

Опция 1a: Во время цикла: одна строка за раз: перенаправление ввода

#!/bin/bash
filename='peptides.txt'
echo Start
while read p; do 
    echo $p
done < $filename

Опция 1b: Во время цикла: Одна строка за раз:
Откройте файл, прочитайте из файлового дескриптора (в данном случае файловый дескриптор # 4).

#!/bin/bash
filename='peptides.txt'
exec 4<$filename
echo Start
while read -u4 p ; do
    echo $p
done

Опция 2: Для цикла: чтение файла в одну переменную и анализ.
Этот синтаксис будет анализировать «строки» на основе любого пробела между токенами. Это все еще работает, потому что указанные строки входного файла являются однословными токенами. Если бы в строке было больше одного токена, этот метод не работал бы. Кроме того, чтение полного файла в одну переменную не является хорошей стратегией для больших файлов.

#!/bin/bash
filename='peptides.txt'
filelines=`cat $filename`
echo Start
for line in $filelines ; do
    echo $line
done

Answer 4

Это не лучше, чем другие ответы, но это еще один способ выполнить работу в файле без пробелов (см. Комментарии). Я нахожу, что мне часто нужны однострочные для просмотра списков в текстовых файлах без дополнительного шага использования отдельных файлов сценариев.

for word in $(cat peptides.txt); do echo $word; done

Этот формат позволяет мне поместить все это в одну командную строку. Измените часть «echo $ word» на любую другую, и вы сможете вводить несколько команд, разделенных точками с запятой. В следующем примере содержимое файла используется в качестве аргументов для двух других написанных вами сценариев.

for word in $(cat peptides.txt); do cmd_a.sh $word; cmd_b.py $word; done

Или, если вы намереваетесь использовать это как потоковый редактор (learn sed), вы можете вывести вывод в другой файл следующим образом.

for word in $(cat peptides.txt); do cmd_a.sh $word; cmd_b.py $word; done > outfile.txt

Я использовал их, как написано выше, потому что я использовал текстовые файлы, где я создал их по одному слову в строке. (См. Комментарии) Если у вас есть пробелы, которые вы не хотите разбивать словами / строками, это становится немного уродливее, но та же команда по-прежнему работает следующим образом:

OLDIFS=$IFS; IFS=$'\n'; for line in $(cat peptides.txt); do cmd_a.sh $line; cmd_b.py $line; done > outfile.txt; IFS=$OLDIFS

Это просто говорит оболочке разделяться только на новые строки, а не на пробелы, а затем возвращает среду к тому, что было раньше. На этом этапе вы можете подумать о том, чтобы поместить все это в сценарий оболочки, а не втиснуть все в одну строку.

Удачи!

Answer 5

Еще несколько вещей, не охваченных другими ответами:

Чтение из файла с разделителями

# ':' is the delimiter here, and there are three fields on each line in the file
# IFS set below is restricted to the context of `read`, it doesn't affect any other code
while IFS=: read -r field1 field2 field3; do
  # process the fields
  # if the line has less than three fields, the missing fields will be set to an empty string
  # if the line has more than three fields, `field3` will get all the values, including the third field plus the delimiter(s)
done < input.txt

Чтение из вывода другой команды с использованием подстановки процесса

while read -r line; do
  # process the line
done < <(command ...)

Этот подход лучше, чем command ... | while read -r line; do ..., поскольку цикл while здесь выполняется в текущей оболочке, а не в подоболочке, как в случае последней. См. Соответствующий пост Переменная, измененная внутри цикла while, не запоминается .

Чтение из ввода с нулевым разделением, например find ... -print0

while read -r -d '' line; do
  # logic
  # use a second 'read ... <<< "$line"' if we need to tokenize the line
done < <(find /path/to/dir -print0)

См. Также: BashFAQ / 020 - Как найти и безопасно обработать имена файлов, содержащие символы новой строки, пробелы или оба?

Чтение из более чем одного файла одновременно

while read -u 3 -r line1 && read -u 4 -r line2; do
  # process the lines
  # note that the loop will end when we reach EOF on either of the files, because of the `&&`
done 3< input1.txt 4< input2.txt

На основе @ chepner's ответа здесь :

-u является расширением bash. Для совместимости с POSIX каждый вызов будет выглядеть примерно так: read -r X <&3.

Чтение всего файла в массив (версии Bash ранее до 4)

while read -r line; do
    my_array+=("$line")
done < my_file

Если файл заканчивается неполной строкой (в конце отсутствует новая строка), то:

while read -r line || [[ $line ]]; do
    my_array+=("$line")
done < my_file

Чтение всего файла в массив (версии Bash 4x и выше)

readarray -t my_array < my_file

или

mapfile -t my_array < my_file

А потом

for line in "${my_array[@]}"; do
  # process the lines
done

• Подробнее о встроенных командах оболочки read и readarray команды - GNU

• Подробнее о IFS - Википедия

• BashFAQ / 001 - Как читать файл (поток данных, переменную) построчно (и / или поле за полем)?

Похожие сообщения:

• Создание массива из текстового файла в Bash
• В чем разница между подходами к чтению файла, содержащего только одну строку?
• Удар во время цикла чтения очень медленный по сравнению с cat, почему?

Answer 6

Используйте цикл while, например:

while IFS= read -r line; do
   echo "$line"
done <file

Примечания:

1. Если вы не установите IFS правильно, вы потеряете отступ.

2. Вы должны почти всегда использовать опцию -r с read.

3. Не читать строки с for

Answer 7

Если вы не хотите, чтобы ваше чтение прерывалось символом новой строки, используйте -

#!/bin/bash
while IFS='' read -r line || [[ -n "$line" ]]; do
    echo "$line"
done < "$1"

Затем запустите скрипт с именем файла в качестве параметра.

Answer 8

Предположим, у вас есть этот файл:

$ cat /tmp/test.txt
Line 1
    Line 2 has leading space
Line 3 followed by blank line

Line 5 (follows a blank line) and has trailing space    
Line 6 has no ending CR

Существует четыре элемента, которые изменят значение вывода файла, читаемого многими решениями Bash:

1. Пустая строка 4;
2. начальные или конечные пробелы в двух строках;
3. Сохранение значения отдельных строк (т. Е. Каждая строка является записью);
4. Строка 6 не заканчивается символом CR.

Если вы хотите, чтобы текстовый файл построчно включал пустые строки и завершающие строки без CR, вы должны использовать цикл while и иметь альтернативный тест для последней строки.

Вот методы, которые могут изменить файл (по сравнению с тем, что возвращает cat):

1) Потерять последнюю строку, пробелы в начале и в конце:

$ while read -r p; do printf "%s\n" "'$p'"; done </tmp/test.txt
'Line 1'
'Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space'

(Если вы вместо этого сделаете while IFS= read -r p; do printf "%s\n" "'$p'"; done </tmp/test.txt, вы сохраните начальные и конечные пробелы, но по-прежнему потеряете последнюю строку, если она не заканчивается на CR)

2) Использование подстановки процесса с помощью cat считывает весь файл за один раз и теряет значение отдельных строк:

$ for p in "$(cat /tmp/test.txt)"; do printf "%s\n" "'$p'"; done
'Line 1
    Line 2 has leading space
Line 3 followed by blank line

Line 5 (follows a blank line) and has trailing space    
Line 6 has no ending CR'

(Если вы удалите " из $(cat /tmp/test.txt), вы прочитаете файл слово за словом, а не одним глотком. Также, вероятно, не то, что предполагается ...)

---

Самый надежный и простой способ построчно читать файл и сохранять все пробелы:

$ while IFS= read -r line || [[ -n $line ]]; do printf "'%s'\n" "$line"; done </tmp/test.txt
'Line 1'
'    Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space    '
'Line 6 has no ending CR'

Если вы хотите убрать ведущие и торговые пробелы, удалите часть IFS=:

$ while read -r line || [[ -n $line ]]; do printf "'%s'\n" "$line"; done </tmp/test.txt
'Line 1'
'Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space'
'Line 6 has no ending CR'

(Текстовый файл без завершающего \n, хотя и довольно распространенный, считается поврежденным в POSIX. Если вы можете рассчитывать на конечный \n, вам не нужно || [[ -n $line ]] в цикле while.)

Больше на BASH FAQ

Answer 9

#!/bin/bash
#
# Change the file name from "test" to desired input file 
# (The comments in bash are prefixed with #'s)
for x in $(cat test.txt)
do
    echo $x
done

Answer 10

Вот мой реальный пример того, как зацикливать строки вывода другой программы, проверять подстроки, удалять двойные кавычки из переменной, использовать эту переменную вне цикла. Я полагаю, что многие задают эти вопросы рано или поздно.

##Parse FPS from first video stream, drop quotes from fps variable
## streams.stream.0.codec_type="video"
## streams.stream.0.r_frame_rate="24000/1001"
## streams.stream.0.avg_frame_rate="24000/1001"
FPS=unknown
while read -r line; do
  if [[ $FPS == "unknown" ]] && [[ $line == *".codec_type=\"video\""* ]]; then
    echo ParseFPS $line
    FPS=parse
  fi
  if [[ $FPS == "parse" ]] && [[ $line == *".r_frame_rate="* ]]; then
    echo ParseFPS $line
    FPS=${line##*=}
    FPS="${FPS%\"}"
    FPS="${FPS#\"}"
  fi
done <<< "$(ffprobe -v quiet -print_format flat -show_format -show_streams -i "$input")"
if [ "$FPS" == "unknown" ] || [ "$FPS" == "parse" ]; then 
  echo ParseFPS Unknown frame rate
fi
echo Found $FPS

Объявление переменной вне цикла, установка значения и использование его вне цикла требует done <<< "$ (...)" </em> синтаксис. Приложение должно быть запущено в контексте текущей консоли. Кавычки вокруг команды сохраняют новые строки выходного потока.

Соответствие цикла для подстрок затем читает имя = значение пара, разбивает правую часть последнего = символа, удаляет первую кавычку, удаляет последнюю кавычку, мы имеем чистое значение для использоваться в другом месте.