изолировать похожие данные от потока

Question

Мы анализируем данные следующего формата -

35953539535393  BG  |..|...|REF_DATA^1^Y^|...|...| 
35953539535393  B  |..|...|REF_DATA_IND^1^B^|...|...| 

Нам нужно распечатать уникальные значения REF_DATA *, появляющиеся в файле, используя скрипт.Таким образом, выходные данные приведенных выше данных будут:

REF_DATA^1^Y^
REF_DATA_IND^1^B^

Как этого добиться, используя grep, sed или awk - используя однострочный скрипт.

Answer 1

awk -F\| '{print $4}' file
REF_DATA^1^Y^
REF_DATA_IND^1^B^

Answer 2

Если у вас есть GNU grep:

command_to_produce_data | grep -oP '(?<=[|])REF_DATA.+?(?=[|])' | sort -u

Answer 3

Это может сработать для вас (GNU sed & sort):

sed '/\n/!s/[^|]*REF_DATA[^|]*/\n&\n/;/^[^|]*REF_DATA/P;D' file | sort -u

Окружите предполагаемые строки новыми строками, печатайте только эти строки в отдельных строках и сортируйте эти строки, показывая только уникальные значения.

Answer 4

Не могли бы вы попробовать и дайте мне знать, если это вам поможет.

awk 'match($0,/REF_DATA[^|]*/){val=substr($0,RSTART,RLENGTH);if(!array[val]++){print val}}'  Input_file

Теперь добавляется не-однорядная форма решения.

awk '
match($0,/REF_DATA[^|]*/){
  val=substr($0,RSTART,RLENGTH);
  if(!array[val]++){
    print val
  }
}'  Input_file