Как удалить дубликаты строк в openrefine, сравнивая одно значение столбца?

Question

У меня есть 20000 повторяющихся строк в CSV, и я пытаюсь удалить дубликаты, используя openrefine. Моя проблема в том, что я хочу удалить дубликат, количество которого меньше. В изображении, если вы посмотрите на первые две строки, строка 136 имеет количество как 1, а строка 137 имеет количество как 3, в противном случае все параметры одинаковы, поэтому я хочу сохранить строку 137 и удалить строку 136. Как я могу добиться этого используя OpenRefine? Снимок экрана OpenRefine

Answer 1

В OpenRefine вы можете сортировать по нескольким столбцам одновременно. В вашем случае:

• сначала сортируйте по invoice number
• , затем сортируйте по Quantity и выбирайте сортировку по number, largest first и оставляйте параметр sort by this column alone снимите галочку.

При этом будет выполнена сортировка по номеру счета и количеству. Затем вы можете следовать процессу , чтобы удалить дубликаты, используя OpenRefine здесь.