Скопируйте строку из листа Excel на новый лист без копирования двойных

Question

Я относительно новичок в питоне. У меня есть датчик, который считает пыль. Он записывает свои данные в таблицу Excel (DownloadedSheet). Я хочу создать один большой набор данных, в котором все данные со счетчика (MainSheet).

При получении данных с датчика он загружает таблицу Excel со всеми последними 10000 измерениями, все более старые данные перезаписываются.

У меня есть MainSheet, в который предполагается копировать все данные, но я не знаю, как просмотреть DownloadedSheet и сравнить его с MainSheet со всеми данными, а только скопировать данные, которые не 't в MainSheet пока нет.

Единственное, что объединяет все измерения - это дата и метки времени. Дата находится в одном столбце, а Время - в другом.

Вот как выглядит фрагмент набора данных:

Date    Time    Sample t    Vol.    Units   0.3um   0.5um   1.0um   2.0um   5.0um   10.0um
2019-10-06  09:44:38    00:00:21    0.99    L   0   0   0   0   0   0
2019-10-06  09:44:59    00:00:21    0.99    L   0   0   0   0   0   0
2019-10-06  09:45:20    00:00:21    0.99    L   0   0   0   0   0   0
2019-10-06  09:45:41    00:00:21    0.99    L   0   0   0   0   0   0
2019-10-06  09:46:02    00:00:21    0.99    L   0   0   0   0   0   0
2019-10-06  09:46:23    00:00:21    0.99    L   0   0   0   0   0   0
2019-10-06  09:46:44    00:00:21    0.99    L   0   0   0   0   0   0
2019-10-06  09:47:05    00:00:21    0.99    L   1   0   0   0   0   0
2019-10-06  09:47:26    00:00:21    0.99    L   0   0   0   0   0   0
2019-10-06  09:47:47    00:00:21    0.99    L   0   0   0   0   0   0
2019-10-06  09:48:08    00:00:21    0.99    L   0   0   0   0   0   0
2019-10-06  09:48:29    00:00:21    0.99    L   0   0   0   0   0   0
2019-10-06  09:48:50    00:00:21    0.99    L   0   0   0   0   0   0
2019-10-06  09:49:11    00:00:21    0.99    L   0   0   0   0   0   0
2019-10-06  09:49:32    00:00:21    0.99    L   0   0   0   0   0   0
2019-10-06  09:49:53    00:00:21    0.99    L   0   0   0   0   0   0
2019-10-06  09:50:14    00:00:21    0.99    L   0   0   0   0   0   0
2019-10-06  09:50:35    00:00:21    0.99    L   0   0   0   0   0   0
2019-10-06  09:50:56    00:00:21    0.99    L   0   0   0   0   0   0
2019-10-06  09:51:17    00:00:21    0.99    L   0   0   0   0   0   0

Answer 1

Сначала объедините наборы данных, а затем отбросьте дублирующиеся строки, например,

import pandas as pd

main = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
                     'B': ['B0', 'B1', 'B2', 'B3']})

download = pd.DataFrame({'A': ['A2', 'A3', 'A4', 'A5'],
                         'B': ['B2', 'B3', 'B4', 'B5']})

main = pd.concat([main,download])
main = main.drop_duplicates(keep='last')