может ли pandas autocorr обрабатывать нерегулярные выборки данных временных рядов?

Question

У меня есть фрейм данных с индексом datetime, где данные были выбраны нерегулярно (у индекса datetime есть пропуски, и даже там, где нет пропусков, интервал между выборками различается).

Если я делаю:

df ['my column']. Autocorr (my_lag)

это будет работать? Знает ли autocorr, как обрабатывать нерегулярные данные даты и времени?

Answer 1

Это не совсем программный вопрос.

В идеале, ваша мера автокорреляции должна использовать данные, измеренные на той же частоте / том же интервале времени между наблюдениями. Любая функция автокорра в любом программном пакете будет просто измерять корреляцию между сериями и любым запаздыванием, которое вы хотите. Это не будет исправлять нерегулярные частоты.

Вы должны исправить это самостоятельно, но 1) настройте ряд с регулярной частотой, 2) отобразите фактические значения, которые у вас есть, в структуру даты, 3) интерполируйте значениягде у вас есть пробелы / NaN, а затем 4) запустить автокорр.

Короче говоря, autocorr не сделает всю эту работу за вас.

Если я неправильно понял проблему, о которой вы беспокоитесь, дайте мне знать. Было бы полезно узнать немного больше о частотах дискретизации. Мне приходилось сталкиваться с такими вещами.

Answer 2

Не совсем уверен, что вы подразумеваете под "ручкой" здесь, но autocorr не делает ничего особенного. Это действительно более удобный метод, поскольку он эквивалентен ручному смещению ряда и получению его корреляции.

In [3]: df.col.autocorr(lag=1) == df.col.corr(df.col.shift(1))                                                                                                                      
Out[3]: True