Вы можете попробовать создать новый фрейм данных, используя два столбца, и применить к нему pandas.DataFrame.drop_duplicates, чтобы удалить дубликаты.
pandas.DataFrame.drop_duplicates