Каков наилучший способ заполнить недостающие данные во временном ряду, используя Python?

Question

Впервые я пытаюсь работать над ситуационным исследованием, используя python для непрерывного фрейма данных, который представляет собой данные временных рядов свойств за период 2006-2016

Но у меня отсутствуют значения за 2015-16 годы в столбцах A, B, C, D и 2006-07 в столбцах E и F. Я пытаюсь вписать значения и заполнить данные.

Я пробовал MICE и интерполяцию, но не уверен, что это даже правильно или нет. какой метод применить и как его применить в python? Я перебрал ссылки:

https://www.theanalysisfactor.com/seven-ways-to-make-up-data-common-methods-to-imputing-missing-data/ https://www.researchgate.net/post/What_is_a_reliable_method_of_dealing_with_missing_data_in_time_series_records

Должен ли я использовать метод прогнозирования вместо вменения для заполнения данных?

Пожалуйста, помогите.

Answer 1

В вашем случае, если вы заполните пустые ячейки оценочными значениями, результаты вашего анализа будут очень искаженными. Поскольку у вас очень ограниченный размер выборки.

Если у вас есть больше данных (например, больше лет), вы можете попробовать различные методы для заполнения пустых значений в вашем наборе данных (интерполяции, среднее значение, et c). Есть плюсы и минусы для каждого метода. Это зависит от того, что вам нужно делать с этим временным рядом.

Если у вас есть только эти данные, имеет смысл использовать только период, за который у вас есть данные для каждого столбца, но, опять же, так мало строк приведет вас к не столь интересным результатам.

В любом случае, pandas dataframes предлагает множество библиотек и утилит для решения этой проблемы.

Например, метод dataframe fillna:

df = # your dataframe
df.fillna(method='ffill')

, который будет распространяться последнее действительное наблюдение переходит к следующему действительному

Или метод интерполяции:

df.interpolate(method ='linear', limit_direction ='forward') 

Но нет идеального ответа на ваш вопрос. Вы должны обосновать свои данные и принять решение на основе контекста