Как разделить дубликаты из csv в отдельный список в python / pandas?

Question

У меня есть CSV-файл с 300 000+ строками, я проверил количество дубликатов в столбце с помощью .duplicated().sum(), это 35 968. Есть ли способ получить эти 35968 в списке отдельных * 1003?* файл?

Answer 1

Вы, вероятно, можете сделать df[df.duplicated()].to_csv('output.csv').Для этого необходимо, чтобы строка дублировалась во всех столбцах.

Если вы хотите удалить дубликаты, если они дублируются только в одном столбце, используйте df[df['column'].duplicated()].to_csv('op.csv')