сортировать и uniq CSV-файлы

Question

используя команды linux, у меня есть файл csv в кавычках, который я отсортировал по первому столбцу, а затем по второму столбцу, теперь я хочу удалить дубликаты, если они совпадают в первом и втором столбце, как это можно сделать?uniq кажется недостаточно, или это так?

Answer 1

Вы можете перевернуть (rev) файл, затем uniq, игнорируя первые N-2 поля (все, кроме первых двух столбцов), а затем снова rev.

rev | uniq -f N-2 -u | rev

Answer 2

Хорошо, я лучше понимаю, что вам нужно сейчас. Как насчет использования awk?

http://www.unix.com/shell-programming-scripting/62574-finding-duplicates-columns-removing-lines.html