Керас: учебные показатели различаются при одинаковых данных и архитектуре Единственная разница заключается в использовании .Sequential () или .Model () - PullRequest
0 голосов
/ 19 июня 2019

приведенная ниже модель взята с Keras веб-сайта и работает точно так, как ожидается.Это определяется с keras.models.Sequential().Я хочу преобразовать его в keras.models.Model(), чтобы сделать его более гибким для будущего использования.Но после моего преобразования производительность резко упала.

Исходная модель, которую вы можете найти на сайте Keras:

def build_model():
  model = Sequential([
    layers.Dense(64, activation=tf.nn.relu, input_shape=[len(train_dataset.keys())]),
    layers.Dense(64, activation=tf.nn.relu),
    layers.Dense(1)
  ])

  optimizer = keras.optimizers.Adam()
  model.compile(loss='mean_squared_error',
                optimizer=optimizer,
                metrics=['mean_absolute_error', 'mean_squared_error'])
  return model

model = build_model()
model.summary()

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
dense_22 (Dense)             (None, 64)                640       
_________________________________________________________________
dense_23 (Dense)             (None, 64)                4160      
_________________________________________________________________
dense_24 (Dense)             (None, 1)                 65        
=================================================================
Total params: 4,865
Trainable params: 4,865
Non-trainable params: 0
_________________________________________________________________

Следующий код - мое преобразование:

def build_model_base():
  input = Input(shape=[len(train_dataset.keys())])
  x = Dense(64, activation='relu', name="dense1")(input)   
  x = Dense(64, activation='relu', name="dense2")(x)
  output = Dense(1, activation='sigmoid', name='output')(x)
  model = Model(input=[input], output=[output])
  optimizer = keras.optimizers.Adam()

  model.compile(loss='mean_squared_error', 
                optimizer=optimizer,
                metrics=['mean_absolute_error', 'mean_squared_error'])
  return model

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_18 (InputLayer)        (None, 9)                 0         
_________________________________________________________________
dense1 (Dense)               (None, 64)                640       
_________________________________________________________________
dense2 (Dense)               (None, 64)                4160      
_________________________________________________________________
output (Dense)               (None, 1)                 65        
=================================================================
Total params: 4,865
Trainable params: 4,865
Non-trainable params: 0

Единственное отличие, которое я вижу, это.Sequential не считается input layer, в то время как .Model считает, но я не верю, что они делают структуру модели другой.Однако производительность .Sequential составляет:

enter image description here

В то время как производительность .Model() I, преобразованного:

enter image description here

Может кто-нибудь сказать мне, что я сделал не так?

Какой-то другой контекст:

Я прочитал эту запись , но мой код все запущен на процессоре в Google Colab

print(keras.__version__) # 2.0.4

print(tf.__version__) #1.14.0-rc1

Код для построения графиков потерь:

def plot_history(history):
  hist = pd.DataFrame(history.history)
  hist['epoch'] = history.epoch

  plt.figure()
  plt.xlabel('Epoch')
  plt.ylabel('Mean Abs Error [MPG]')
  plt.plot(hist['epoch'], hist['mean_absolute_error'],
           label='Train Error')
  plt.plot(hist['epoch'], hist['val_mean_absolute_error'],
           label = 'Val Error')
  y_max = max(hist['val_mean_absolute_error'])
  plt.ylim([0,y_max])
  plt.legend()

  plt.figure()
  plt.xlabel('Epoch')
  plt.ylabel('Mean Square Error [$MPG^2$]')
  plt.plot(hist['epoch'], hist['mean_squared_error'],
           label='Train Error')
  plt.plot(hist['epoch'], hist['val_mean_squared_error'],
           label = 'Val Error')
  y_max = max(hist['val_mean_squared_error'])
  plt.ylim([0,y_max])
  plt.legend()
  plt.show() 

Код для обучения модели (он одинаков для обеих моделей):

his_seq = model.fit(normed_train_data.values, train_labels.values,
          batch_size=128,
          validation_split = 0.1,
          epochs = 100,
          verbose=0)
plot_history(his_seq)

Любое предложение приветствуется!

1 Ответ

4 голосов
/ 19 июня 2019

Функция «Линейная» активация используется по умолчанию в плотном слое кера, а также в выходном слое построенной вами последовательной модели.

Но вы указываете функцию активации как 'sigmoid' в вашей конверсии, которая может иметь значение.

Вот описание функции активации по умолчанию, предоставленной Keras:

activation: Activation function to use (see activations). If you don't specify anything, no activation is applied (ie. "linear" activation: a(x) = x).
...