У меня есть несколько файлов базы данных электронной почты csv, каждый из которых содержит около 4-6M строк и 3 столбца.
Существует много дубликатов, но, поскольку CSV может загружать только до 1M, я не могу удалить его.
Есть ли какой-либо способ или программное обеспечение, которое я могу использовать для удаления повторяющихся записей?