Мне нужно удалить дубликаты уровня строки из набора данных, нужно знать, является ли dropduplicate() дорогостоящей операцией, если мой набор данных очень большой.
Если операция дорогая из-за перестановки и всех других процессов, происходящих в бэкэнде, каков другой эффективный способ удаления этих дубликатов на уровне строк?