Я объединил 4 набора данных и могу отметить дублированные строки во фрейме данных.Однако, когда я приказываю пандам показать мне дублированные строки, он говорит, что их нет, и, следовательно, мои коды для удаления дублированных строк не отвечают.Буду признателен за любую помощь.
Пример кадра данных:
end_time_x start_time_x duration deviceuuid time_offset_x exercise_type max_speed calorie mean_speed distance ... time_offset create_time weekday month startsleep wakeup sleep_duration duration_mins powernaps weekend
0 2018-01-07 10:01:00-04:00 2018-01-07 07:21:00-04:00 831210 F/D7+hL5E5 UTC-0300 1001 1.750000 54.340 1.376099 905.360 ... UTC-0400 2018-01-07 10:15:59.770000-04:00 6 1 7 10 02:40:00 160.0 False True
1 2018-01-07 10:01:00-04:00 2018-01-07 07:21:00-04:00 831210 F/D7+hL5E5 UTC-0300 1001 1.750000 54.340 1.376099 905.360 ... UTC-0400 2018-01-07 05:12:34.278000-04:00 6 1 0 4 04:12:00 252.0 False True
2 2018-01-07 10:01:00-04:00 2018-01-07 07:21:00-04:00 831210 F/D7+hL5E5 UTC-0300 1001 1.750000 54.340 1.376099 905.360 ... UTC-0400 2018-01-08 07:45:13.936000-04:00 6 1 22 7 09:11:00 551.0 False True
3 2018-01-07 10:01:00-04:00 2018-01-07 07:21:00-04:00 831210 F/D7+hL5E5 UTC-0300 1001 1.750000 54.340 1.376099 905.360 ... UTC-0400 2018-01-07 10:15:59.770000-04:00 6 1 7 10 02:40:00 160.0 False True
Я пробовал код ниже, но они дают тот же результат, если я опускаю строки drop_duplicates.
коддля проверки дубликатов:
df_merged.duplicated().sum()
df_merged.loc[df_merged.duplicated(),:]
код для объединения фреймов данных путем первого удаления дубликатов в 2 из 4 фреймов данных:
df_exercise_cleaned=df_exercise.drop_duplicates()
df_HR_cleaned=df_HR.drop_duplicates() df_merged=df_exercise_cleaned.merge(df_HR_cleaned,on='date',how='inner').merge(df_FC, on='date',how='inner').merge(df_sleep,on='date',how='inner')
добавление пост-проверки dtypes для столбцов смешанных объектов и преобразованиедата до даты: 