С помощью какой техники, адаптированной к временным рядам, я могу заменить перекрестную проверку в моей регрессионной модели Keras MLP в Python

Question

В настоящее время я работаю с набором данных временного ряда из 46 строк о метеорологических измерениях примерно каждые 3 часа в день в течение одной недели. Мои пояснительные переменные (X) состоят из 26 переменных, а некоторые переменные имеют разные единицы измерения (градусы, миллиметры, г / м3 и т. Д.). Моя переменная для объяснения (у) состоит только из одной переменной температуры.

Моя цель - предсказать температуру (y) на интервале 12–24 ч с помощью ансамбля переменных (X)

Для этого я использовал Keras Tensorflow и Python с моделью регрессора MLP:

X = df_forcast_cap.loc[:, ~df_forcast_cap.columns.str.startswith('l')] 
X = X.drop(['temperature_Y'],axis=1)
y = df_forcast_cap['temperature_Y']
y = pd.DataFrame(data=y)

# normalize the dataset X
scaler = MinMaxScaler(feature_range=(0, 1))
scaler.fit_transform(X)
normalized = scaler.transform(X)

# normalize the dataset y
scaler = MinMaxScaler(feature_range=(0, 1))
scaler.fit_transform(y)
normalized = scaler.transform(y)

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# define base model
def norm_model():
    # create model
    model = Sequential()
    model.add(Dense(26, input_dim=26, kernel_initializer='normal', activation='relu'))# 30 is then number of neurons
    #model.add(Dense(6, kernel_initializer='normal', activation='relu'))
    model.add(Dense(1, kernel_initializer='normal'))

    # Compile model
    model.compile(loss='mean_squared_error', optimizer='adam')
    return model

# fix random seed for reproducibility
seed = 7
numpy.random.seed(seed)

# evaluate model with standardized dataset
estimator = KerasRegressor(build_fn=norm_model, epochs=(100), batch_size=5, verbose=1)
kfold = KFold(n_splits=10, random_state=seed)
results = cross_val_score(estimator, X, y, cv=kfold)

print(results)

[-0.00454741 -0.00323181 -0.00345096 -0.00847261 -0.00390925 -0.00334816
 -0.00239754 -0.00681044 -0.02098541 -0.00140129]


# invert predictions
X_train = scaler.inverse_transform(X_train)
y_train = scaler.inverse_transform(y_train)
X_test = scaler.inverse_transform(X_test)
y_test = scaler.inverse_transform(y_test)
results = scaler.inverse_transform(results)

print("Results: %.2f (%.2f) MSE" % (results.mean(), results.std()))
Results: -0.01 (0.01) MSE

(1) Я прочитал, что перекрестная проверка не приспособлена для прогнозирования временных рядов. Поэтому мне интересно, какие существуют другие методы, а какие более приспособлены к временным рядам.

(2) Во-вторых, я решил нормализовать свои данные, потому что мой набор данных X состоит из различных метрик (градусы, миниметры, г / м3 и т. Д.), А моя переменная для объяснения у находится в градусах. Таким образом, я знаю, что приходится иметь дело с более сложной интерпретацией MSE, потому что ее результат не будет в том же единстве, что и моя переменная y. Но для следующего шага моего исследования мне нужно сохранить результат y, предсказанный (сделанный моделью MLP), и мне нужно, чтобы эти значения были в градусах. Итак, я попытался инвертировать нормализацию, но безуспешно, когда я печатаю свои результаты, предсказанные значения все еще находятся в нормализованном формате (см. Мой код выше). Кто-нибудь видит мою ошибку?

Answer 1

Модель, которую вы представили выше, рассматривает один случай из 26 измерений, чтобы сделать прогноз. Из вашего описания кажется, что вы хотели бы делать прогнозы из последовательности этих измерений. Я не уверен, полностью ли я понял описание, но я предполагаю, что у вас есть последовательность из 46 измерений, каждое с 26 значениями, которые, по вашему мнению, должны быть хорошими предикторами температуры. Если это так, входная форма вашей модели должна быть (46, 26,). 46 здесь называется time_steps, 26 - количество функций.

Для временного ряда вам необходимо выбрать дизайн модели. Есть 2 подхода: рекуррентная сеть или сверточная сеть (или смесь 2-го). Сверточная сеть обычно используется для обнаружения шаблонов во входных данных, которые могут быть расположены где-то в данных. Например, предположим, что вы хотите обнаружить заданную форму на изображении. Сверточные сети являются хорошей отправной точкой. Рекуррентные сети обновляют свое внутреннее состояние после каждого временного шага. Они могут обнаруживать шаблоны, а также сверточную сеть, но вы можете думать о них как о менее зависимых от позиции.

Простой пример сверточного подхода.

import tensorflow as tf
from tensorflow import keras

from tensorflow.keras.layers import *
from tensorflow.keras.models import Sequential, Model

average_tmp = 0.0

model = Sequential([
    InputLayer(input_shape=(46,26,)),
    Conv1D(16, 4),
    Conv1D(32, 4),
    Conv1D(64, 2),
    Conv1D(128, 4),
    MaxPooling1D(),
    Flatten(),
    Dense(256, activation='relu'),
    Dense(1, bias_initializer=keras.initializers.Constant(average_tmp)),
])

model.compile('adam', 'mse')
model.summary()

Смешанный подход, заменивший выше слой `` Flatten` 'узлом LSTM. Это, вероятно, будет разумной отправной точкой для начала экспериментов.

(1) Я прочитал, что перекрестная проверка не приспособлена для прогнозирования временных рядов. Поэтому мне интересно, какие существуют другие методы, а какие более приспособлены к временным рядам.

перекрестная проверка - метод, который очень хорошо подходит для этой проблемы. Если вы попробуете приведенную выше примерную модель, я почти гарантирую, что она будет значительно превосходить ваш набор данных. перекрестная проверка может помочь вам определить правильные параметры регуляризации для вашей модели, чтобы избежать переобучения.

Примеры методов регуляризации, которые вы, вероятно, захотите рассмотреть:

• Сохранение весов модели в эпоху с более низким баллом проверки.
• Удаление и / или пакетная нормализация.
• регуляризация ядра.

(2) Во-вторых, я решил нормализовать свои данные, потому что мой набор данных X состоит из различных метрик (градусы, миниметры, г / м3 и т. Д.), А моя переменная для объяснения у находится в градусах.

Хороший звонок. Это позволит избежать тренировочных циклов вашей модели, пытающихся обнаружить смещение при очень высоких значениях при случайной инициализации.

Таким образом, я знаю, что приходится иметь дело с более сложной интерпретацией MSE, потому что ее результат не будет в том же единстве, что и моя переменная y.

Это ортогонально. Входы не должны быть в той же единице, что и у. В DNN мы предполагаем, что мы можем создать комбинацию линейного преобразования весов (плюс нелинейные активации). Это не имеет неявного предположения о единицах.

Но для следующего шага моего исследования мне нужно сохранить результат предсказанного y (сделанного моделью MLP), и мне нужно, чтобы эти значения были в градусах. Итак, я попытался инвертировать нормализацию, но безуспешно, когда я печатаю свои результаты, прогнозируемые значения все еще находятся в нормализованном формате (см. Мой код выше). Кто-нибудь видит мою ошибку?

scaler.inverse_transform(results) должен сделать свое дело. Нет смысла инвертировать входы X_ и Y_. И это, вероятно, поможет вам сохранить правильность кода, чтобы не использовать одно и то же имя переменной для масштабаторов X и Y.

Также возможно воздержаться от масштабирования Y. Если вы решите это сделать, я бы посоветовал инициализировать смещение выходного слоя средним значением Ys.