Keras: MLP на воспроизводимость процессора - PullRequest
Новая
       22

Keras: MLP на воспроизводимость процессора

4 голосов
/ 13 июня 2019

Я создаю и тестирую простую модель MLP, но столкнулся с проблемой воспроизводимости Keras для моих результатов.Я пытаюсь настроить свою нейронную сеть так, чтобы результаты прогнозирования не менялись при запуске сети.

Я уже следовал онлайн-руководству Keras, а также этому посту ( Воспроизводимые результаты с использованиемКерас с бэкэндом TensorFlow ).Я запускаю Keras на своей локальной машине с бэкэндом Tensorflow и следующими версиями:

tenenflow 2.0.0-alpha0, keras 2.2.4-tf, numpy 1.16.0 

import os  
os.environ['PYTHONHASHSEED']=str(0)

import random
random.seed(0)

from numpy.random import seed
seed(1)
import tensorflow as tf
tf.compat.v1.set_random_seed(2)

from keras import backend as K
session_conf = tf.compat.v1.ConfigProto(intra_op_parallelism_threads=1, inter_op_parallelism_threads=1)
sess = tf.compat.v1.Session(graph=tf.compat.v1.get_default_graph(), config=session_conf)
K.set_session(sess)

import numpy as np
from tensorflow.python.keras.layers import Dropout, BatchNormalization
from tensorflow.python.keras.optimizers import Adam


class Machine_Learning_Classifier_Keras(object):    
    @classmethod
    def _get_classifier(cls, n_input_features=None, **params):
        KerasClassifier = tf.keras.wrappers.scikit_learn.KerasClassifier
        Dense = tf.keras.layers.Dense
        Sequential = tf.keras.models.Sequential

        sk_params = {"epochs": 200, "batch_size": 128, "shuffle": False}

        def create_model(optimizer='adam', init='he_normal'):
            # create model
            model = Sequential()
            model.add(BatchNormalization())
            model.add(Dropout(0.2))
            model.add(Dense(500, input_dim=4, kernel_initializer=init, activation='relu'))
            model.add(BatchNormalization())
            model.add(Dropout(0.2))
            model.add(Dense(250, kernel_initializer=init, activation='relu'))
            model.add(BatchNormalization())
            model.add(Dropout(0.2))
            model.add(Dense(500, kernel_initializer=init, activation='relu'))
            model.add(Dense(1, kernel_initializer=init, activation='sigmoid'))
            # Compile model
            model.compile(loss='binary_crossentropy', optimizer=Adam(lr=3e-3, decay=0.85), metrics=['accuracy'])
            return model

        return KerasClassifier(build_fn=create_model, **sk_params)

if __name__ == "__main__":
    X = np.asarray([[0.0, 0.0], [1.0, 1.0], [2.0, 2.5], [1.5, 1.6]])
    y = np.asarray([0, 0, 1, 1])

    nn = Machine_Learning_Classifier_Keras._get_classifier()
    nn.fit(X, y, sample_weight=np.asarray([0, 0, 1, 1]))

    values = np.asarray([[0.5, 0.5], [0.6, 0.5], [0.8, 1.0], [0.5, 0.5], [0.5, 0.5], [0.5, 0.5], [0.5, 0.5], [0.5, 0.5]])

    probas = nn.predict_proba(values)
    print(probas)

Iожидал, что мои результаты для значенийprep_proba останутся неизменными между запусками;Тем не менее, я получаю следующее для двух последовательных прогонов (результаты будут отличаться): 

    Run 1:
    [[0.9439231  0.05607685]
     [0.91351616 0.08648387]
     [0.06378722 0.9362128 ]
     [0.9439231  0.05607685]
     [0.9439231  0.05607685]
     [0.9439231  0.05607685]
     [0.94392323 0.05607677]
     [0.94392323 0.05607677]]

    Run 2:
    [[0.94391584 0.05608419]
     [0.91350436 0.08649567]
     [0.06378281 0.9362172 ]
     [0.94391584 0.05608419]
     [0.94391584 0.05608419]
     [0.94391584 0.05608419]
     [0.94391584 0.05608416]
     [0.94391584 0.05608416]]

Ответы [ 2 ]

0 голосов
/ 19 июня 2019

В итоге выяснили, в чем проблема, но не уверены, как ее решить - это как-то связано с первым слоем BatchNormalization (), который должен стандартизировать входные данные.Если вы удалите этот слой, результаты будут полностью воспроизводимы, но что-то в реализации BatchNormalization () приведет к невоспроизводимому поведению

0 голосов
/ 14 июня 2019

Если вы запустите упомянутый код дважды, он покажет поведение, которое вы только что описали.Причинять каждый раз, когда модель обучается, и нет необходимости, чтобы она всегда приводила к одному и тому же локальному минимуму.Однако если вы тренируете свою модель только один раз, сохраняете веса и используете эти веса для прогнозирования выходных данных, то вы всегда будете получать одинаковые результаты для одних и тех же данных.

...