Проверьте, являются ли несколько столбцов датафреймов уникальными - PullRequest
0 голосов
/ 15 апреля 2020

Так что я знаю, что могу проверить, является ли столбец уникальным (is_unique). Однако я хочу проверить, является ли комбинация столбцов уникальной.

Например: | | a | b | |---:|----:|----:| | 0 | 1 | 2 | | 1 | 2 | 2 | | 2 | 3 | 4 | | 3 | 1 | 5 | Столбцы a и b не являются уникальными. Однако вместе они.

Есть ли быстрая проверка, чтобы сделать это. У меня есть довольно большой DataFrame (несколько миллионов строк).

Я могу придумать 3 способа сделать это. Во-первых, если я использую drop_duplicates, а затем проверяю, было ли что-либо удалено Второе - сделать его индексом и использовать что-то вроде MultiIndex.unique. Я также мог бы объединить два столбца в виде строк и проверить с помощью is_unique.

Эти методы кажутся довольно медленными. Есть ли быстрый способ сделать это.

Большое спасибо

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...