Удаление дублирующихся строк в vi?

Question

У меня есть текстовый файл, который содержит длинный список записей (по одному в каждой строке). Некоторые из них являются дубликатами, и я хотел бы знать, возможно ли (и если да, то как) удалить любые дубликаты. Я заинтересован в том, чтобы сделать это из vi / vim, если это возможно.

Answer 1

Если вы согласны с сортировкой файла, вы можете использовать:

:sort u

Answer 2

Попробуйте это:

:%s/^\(.*\)\(\n\1\)\+$/\1/

Он ищет любую строку, за которой сразу следует одна или несколько копий, и заменяет ее одной копией.

Сделайте копию вашего файла, хотя, прежде чем пытаться его. Это не проверено.

Answer 3

Из командной строки просто выполните:

sort file | uniq > file.new

Answer 4

awk '!x[$0]++' yourfile.txt, если вы хотите сохранить заказ (то есть сортировка недопустима). Чтобы вызвать его из vim, можно использовать :!.

Answer 5

g/^\(.*\)$\n\1/d

У меня работает на Windows. Хотя сначала нужно отсортировать строки.

Answer 6

Я бы объединил два ответа выше:

go to head of file
sort the whole file
remove duplicate entries with uniq

1G
!Gsort
1G
!Guniq

Если вам было интересно узнать, сколько дубликатов было удалено, используйте control-G до и после, чтобы проверить количество строк в вашем буфере.

Answer 7

Выберите линии в режиме визуальных линий ( Shift + v ), затем :!uniq. Это будет ловить только дубликаты, которые приходят один за другим.

Answer 8

Это сработало для меня как .csv, так и .txt

awk '!seen[$0]++' <filename> > <newFileName>

Пояснение: Первая часть команды печатает уникальные строки, а вторая часть, то есть после средней стрелки, должна сохранять выходные данные первой части.

awk '!seen[$0]++' <filename>

>

<newFileName>

Answer 9

Альтернативный метод, который не использует vi / vim (для очень больших файлов), из командной строки Linux использует sort и uniq:

sort {file-name} | uniq -u

Answer 10

Эта версия удаляет только повторяющиеся строки, которые являются сомнительными. Я имею в виду, только удаляет последовательные повторяющиеся строки. Используя данную карту, функция не запутывается в пустых строках. Но если изменить значение REGEX на начало строки ^, оно также удалит дублирующиеся пустые строки.

" function to delete duplicate lines
function! DelDuplicatedLines()
    while getline(".") == getline(line(".") - 1)
        exec 'norm! ddk'
    endwhile
    while getline(".") == getline(line(".") + 1)
        exec 'norm! dd'
    endwhile
endfunction
nnoremap <Leader>d :g/./call DelDuplicatedLines()<CR>