Как быстро найти недостающие точки данных из большого набора данных в Python? - PullRequest
0 голосов
/ 24 февраля 2020

Я импортировал два набора данных, проиндексированных по дате и времени. Они оба имеют одинаковую частоту "0.5H", и я установил одинаковое время начала и окончания.

Это должно дать мне два кадра данных одинакового размера. Но когда я сравнил размеры, один на самом деле немного больше другого.

Я подозреваю, что это потому, что в исходных данных, которые я скачал, были некоторые недостающие точки данных. Как быстро найти недостающие точки данных в этом случае? Или, если это не вызвано отсутствием точек данных, что вызвало эту разницу в размерах?

Код:

__version__ = '0.3'
import pandas as pd
import numpy as np

import_price1 = pd.read_csv('data/octopus_imprt_price_southern.csv', index_col=0,parse_dates=["local_time"])
export_price1 = pd.read_csv('data/octopus_export_price_southern.csv', index_col=0,parse_dates=["local_time"])

start_time = "2019-1-31 00:00:00"
end_time = "2019-5-15 22:30:00"                   

import_price2 = import_price1.loc[start_time:end_time]
length_imprice = len(import_price2)
length_imprice

Вывод: 5038 This is what the dataframe looks like

export_price2 = export_price1.loc[start_time:end_time]
length_exprice = len(export_price2)
length_exprice

выход: 5036 This is the other dataframe

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...