Statsmodels OLS с проблемой скользящего окна

Question

Я хотел бы сделать регрессию с помощью скользящего окна, но после регрессии я получил только один параметр:

 rolling_beta = sm.OLS(X2, X1, window_type='rolling', window=30).fit()
 rolling_beta.params

Результат:

 X1    5.715089
 dtype: float64

В чем может быть проблема?

Заранее спасибо, Роланд

Answer 1

Мне кажется, проблема в том, что параметры window_type='rolling' и window=30 просто ничего не делают. Сначала я покажу вам, почему, и в конце я предоставлю настройку, которую я нашел для линейных регрессий на скользящих окнах.

---

1. Проблема с вашей функцией:

Поскольку вы не предоставили некоторые примеры данных, вот функция, которая возвращает кадр данных желаемого размера с некоторыми случайными числами:

# Function to build synthetic data
import numpy as np
import pandas as pd
import statsmodels.api as sm
from collections import OrderedDict

def sample(rSeed, periodLength, colNames):

    np.random.seed(rSeed)
    date = pd.to_datetime("1st of Dec, 1999")   
    cols = OrderedDict()

    for col in colNames:
        cols[col] = np.random.normal(loc=0.0, scale=1.0, size=periodLength)
    dates = date+pd.to_timedelta(np.arange(periodLength), 'D')

    df = pd.DataFrame(cols, index = dates)
    return(df)

Выход:

X1        X2
2018-12-01 -1.085631 -1.294085
2018-12-02  0.997345 -1.038788
2018-12-03  0.282978  1.743712
2018-12-04 -1.506295 -0.798063
2018-12-05 -0.578600  0.029683
.
.
.
2019-01-17  0.412912 -1.363472
2019-01-18  0.978736  0.379401
2019-01-19  2.238143 -0.379176

Теперь попробуйте:

rolling_beta = sm.OLS(df['X2'], df['X1'], window_type='rolling', window=30).fit()
rolling_beta.params

Выход:

X1   -0.075784
dtype: float64

И это, по крайней мере, также представляет структуру вашего вывода, то есть вы ожидаете оценку для каждого из ваших окон выборки, но вместо этого вы получаете одну оценку. Поэтому я искал другие примеры, используя ту же функцию онлайн и в документах statsmodels, но я не смог найти конкретные примеры, которые действительно работали. То, что я нашел, было несколько дискуссий, в которых говорилось о том, что эта функциональность устарела некоторое время назад. Затем я протестировал ту же функцию с некоторым фиктивным входом для параметров:

rolling_beta = sm.OLS(df['X2'], df['X1'], window_type='amazing', window=3000000).fit()
rolling_beta.params

Вывод:

X1   -0.075784
dtype: float64

И, как вы можете видеть, оценки одинаковы, и никакие сообщения об ошибках не возвращаются для фиктивного ввода. Поэтому я предлагаю вам взглянуть на функцию ниже. Это то, что я собрал, чтобы выполнить скользящие оценки регрессии.

---

2. Функция для регрессии на скользящих окнах кадра данных pandas

df = sample(rSeed = 123, colNames = ['X1', 'X2', 'X3'], periodLength = 50)

def RegressionRoll(df, subset, dependent, independent, const, win, parameters):
    """
    RegressionRoll takes a dataframe, makes a subset of the data if you like,
    and runs a series of regressions with a specified window length, and
    returns a dataframe with BETA or R^2 for each window split of the data.

    Parameters:
    ===========

    df: pandas dataframe
    subset: integer - has to be smaller than the size of the df
    dependent: string that specifies name of denpendent variable
    inependent: LIST of strings that specifies name of indenpendent variables
    const: boolean - whether or not to include a constant term
    win: integer - window length of each model
    parameters: string that specifies which model parameters to return:
                BETA or R^2

    Example:
    ========
        RegressionRoll(df=df, subset = 50, dependent = 'X1', independent = ['X2'],
                   const = True, parameters = 'beta', win = 30)

    """

    # Data subset
    if subset != 0:
        df = df.tail(subset)
    else:
        df = df

    # Loopinfo
    end = df.shape[0]
    win = win
    rng = np.arange(start = win, stop = end, step = 1)

    # Subset and store dataframes
    frames = {}
    n = 1

    for i in rng:
        df_temp = df.iloc[:i].tail(win)
        newname = 'df' + str(n)
        frames.update({newname: df_temp})
        n += 1

    # Analysis on subsets
    df_results = pd.DataFrame()
    for frame in frames:
        #print(frames[frame])

        # Rolling data frames
        dfr = frames[frame]
        y = dependent
        x = independent

        if const == True:
            x = sm.add_constant(dfr[x])
            model = sm.OLS(dfr[y], x).fit()
        else:
            model = sm.OLS(dfr[y], dfr[x]).fit()

        if parameters == 'beta':
            theParams = model.params[0:]
            coefs = theParams.to_frame()
            df_temp = pd.DataFrame(coefs.T)

            indx = dfr.tail(1).index[-1]
            df_temp['Date'] = indx
            df_temp = df_temp.set_index(['Date'])

        if parameters == 'R2':
            theParams = model.rsquared
            df_temp = pd.DataFrame([theParams])
            indx = dfr.tail(1).index[-1]
            df_temp['Date'] = indx
            df_temp = df_temp.set_index(['Date'])
            df_temp.columns = [', '.join(independent)]
        df_results = pd.concat([df_results, df_temp], axis = 0)

    return(df_results)


df_rolling = RegressionRoll(df=df, subset = 50, dependent = 'X1', independent = ['X2'], const = True, parameters = 'beta',
                                     win = 30)

Вывод: кадр данных с бета-оценками для OLS X2 на X1 для каждого окна периода 30 данных.

const        X2
Date                          
2018-12-30  0.044042  0.032680
2018-12-31  0.074839 -0.023294
2019-01-01 -0.063200  0.077215
.
.
.
2019-01-16 -0.075938 -0.215108
2019-01-17 -0.143226 -0.215524
2019-01-18 -0.129202 -0.170304