Как создать новый фрейм данных после validation_split?

Question

После обучения модели Keras и использования validation_split=0.2 в функции fit(), как мы можем преобразовать эти 20% старого кадра данных в новый кадр данных для тестирования?

#train model
model.fit(train_X, train_y, validation_split=0.2, epochs=30, callbacks=[early_stopping_monitor])

Answer 1

На самом деле, когда вы устанавливаете аргумент validation_split равным x, происходит следующее: последние x процентов обучающих выборок считаются данными проверки.Поэтому, если вы хотите получить те же данные проверки, которые использовались во время обучения, вы можете просто нарезать кадр данных следующим образом:

idx = int(len(train_X) * 0.2)  # 0.2 is the value of validation split
# if train_X and train_y are numpy arrays
val_X = train_X[idx:]   
val_y = train_y[idx:]

# if train_X and train_y are pandas dataframes
val_X = train_X.iloc[idx:]
val_y = train_y.iloc[idx:]