Сортировка и удаление повторяющихся слов в строке

Question

Команда sort позволяет мне размещать строки в алфавитном порядке и удалять повторяющиеся строки. Мне нужно что-то подобное, что можно отсортировать слова в одну строку, привести их в порядок и удалить любые дубликаты. Есть команда для этого?

например:.

zebra ant spider spider ant zebra ant

Изменения на:

ant spider zebra

Нет пробела перед первым словом или после последнего слова.

Answer 1

Это работает для меня:

$ echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs
ant spider zebra

Можно преобразовать список слов в одной строке в один столбец с помощью xargs -n1, использовать sort -u и преобразовать обратно в одну строку с помощью xargs.

Answer 2

Оболочка была создана для анализа [:blank:] разделенных списков слов.Поэтому использование xargs совершенно излишне.«Уникальный» материал можно сделать, но его проще использовать в сортировке.

echo $(printf '%s\n' zebra ant spider spider ant zebra ant | sort -u)

Answer 3

Используйте tr, чтобы изменить пробелы на новые строки, затем sort и, наконец, измените новые строки обратно на пробелы.

echo $(tr ' ' '\n' <<< "zebra ant spider spider ant zebra ant" | sort -u)

Answer 4

Все ответы до этого могут сортировать только одну строку за раз.Следующее может использоваться для передачи целого списка таких строк, и оно напечатает отсортированный список уникальных слов для каждой строки.

awk '{ delete a; for (i=1; i<=NF; i++) a[$i]++; n=asorti(a, b); for (i=1; i<=n; i++) printf b[i]" "; print "" }'

Спасибо @jaypai за большой синтаксис, использованный в этом.

Пример:

>cat file
group label wearable edit_group edit_group_order label_max camera_elevation camera_distance name label_min label_max value_min value_max camera_angle camera_elevation id
id group label wearable edit_group clothing_morph value_min value_max name value_default clothing_morph group
id label show_simple wearable name edit_group edit_group_order group clothing_morph clothing_morph camera_distance label_min label_max value_min value_max camera_distance camera_angle
id group label wearable name edit_group clothing_morph value_min value_max value_default
group label wearable id clothing_morph edit_group edit_group_order label_min label_max value_min value_max name camera_distance camera_angle camera_elevation
id group label wearable edit_group name label_min label_max value_min value_max wearable
name id group wearable edit_group id group wearable id group wearable id group wearable value_min value_max

>cat file | awk '{ delete a; for (i=1; i<=NF; i++) a[$i]++; n=asorti(a, b); for (i=1; i<=n; i++) printf b[i]" "; print "" }'
camera_angle camera_distance camera_elevation edit_group edit_group_order group id label label_max label_min name value_max value_min wearable 
clothing_morph edit_group group id label name value_default value_max value_min wearable 
camera_angle camera_distance clothing_morph edit_group edit_group_order group id label label_max label_min name show_simple value_max value_min wearable 
clothing_morph edit_group group id label name value_default value_max value_min wearable 
camera_angle camera_distance camera_elevation clothing_morph edit_group edit_group_order group id label label_max label_min name value_max value_min wearable 
edit_group group id label label_max label_min name value_max value_min wearable 
edit_group group id name value_max value_min wearable

Answer 5

Использование awk:

awk '{for(i=1;i<=NF;i++) a[$i]++} END{for(i in a) printf i" ";print ""}' INPUT_FILE

Тест:

[jaypal:~/Temp] cat file
zebra ant spider spider ant zebra ant
[jaypal:~/Temp] awk '{for (i=1;i<=NF;i++) a[$i]++} END{for (i in a) printf i" ";print ""}' file
zebra spider ant 

Answer 6

Использование perl:

perl -lane '
  %a = map { $_ => 1 } @F;
  print join qq[ ], sort keys %a;
' <<< "zebra ant spider spider ant zebra ant"

Результат:

ant spider zebra

Answer 7

Использование python

$ echo "zebra ant spider spider ant zebra ant" | python -c 'import sys; print(" ".join(sorted(set(sys.stdin.read().split()))))'
ant spider zebra