Керас RO C отличается от Scikit RO C? - PullRequest
Новая
       74

Керас RO C отличается от Scikit RO C?

1 голос
/ 15 апреля 2020

Из приведенного ниже кода это выглядит как вычисление ro c с помощью keras и scikit на самом деле имеет значение. Кто-нибудь знает объяснение? 

import tensorflow as tf
from keras.layers import Dense, Input, Dropout
from keras import Sequential
import keras
from keras.constraints import maxnorm
from sklearn.metrics import roc_auc_score

# training data: X_train, y_train
# validation data: X_valid, y_valid

# Define the custom callback we will be using to evaluate roc with scikit
class MyCustomCallback(tf.keras.callbacks.Callback):

    def on_epoch_end(self,epoch, logs=None):
        y_pred = model.predict(X_valid)
        print("roc evaluated with scikit = ",roc_auc_score(y_valid, y_pred))
        return

# Define the model.

def model(): 

    METRICS = [ 
          tf.keras.metrics.BinaryAccuracy(name='accuracy'),
          tf.keras.metrics.AUC(name='auc'),
    ]

    optimizer="adam"
    dropout=0.1
    init='uniform'
    nbr_features= vocab_size-1 #2500
    dense_nparams=256

    model = Sequential()
    model.add(Dense(dense_nparams, activation='relu', input_shape=(nbr_features,), kernel_initializer=init,  kernel_constraint=maxnorm(3)))
    model.add(Dropout(dropout))
    model.add(Dense(1, activation='sigmoid'))
    model.compile(loss='binary_crossentropy', optimizer=optimizer,metrics = METRICS)
    return model

# instantiate the model
model = model()

# fit the model
history = model.fit(x=X_train, y=y_train, batch_size = 8, epochs = 8, verbose=1,validation_data = (X_valid,y_valid), callbacks=[MyCustomCallback()], shuffle=True, validation_freq=1, max_queue_size=10, workers=4, use_multiprocessing=True)

Вывод: 

Train on 4000 samples, validate on 1000 samples
Epoch 1/8
4000/4000 [==============================] - 15s 4ms/step - loss: 0.7950 - accuracy: 0.7149 - auc: 0.7213 - val_loss: 0.7551 - val_accuracy: 0.7608 - val_auc: 0.7770
roc evaluated with scikit =  0.78766515781747
Epoch 2/8
4000/4000 [==============================] - 15s 4ms/step - loss: 0.0771 - accuracy: 0.8235 - auc: 0.8571 - val_loss: 1.0803 - val_accuracy: 0.8574 - val_auc: 0.8954
roc evaluated with scikit =  0.7795984218252997
Epoch 3/8
4000/4000 [==============================] - 14s 4ms/step - loss: 0.0085 - accuracy: 0.8762 - auc: 0.9162 - val_loss: 1.2084 - val_accuracy: 0.8894 - val_auc: 0.9284
roc evaluated with scikit =  0.7705172905961992
Epoch 4/8
4000/4000 [==============================] - 14s 4ms/step - loss: 0.0025 - accuracy: 0.8982 - auc: 0.9361 - val_loss: 1.1700 - val_accuracy: 0.9054 - val_auc: 0.9424
roc evaluated with scikit =  0.7808804338960933
Epoch 5/8
4000/4000 [==============================] - 14s 4ms/step - loss: 0.0020 - accuracy: 0.9107 - auc: 0.9469 - val_loss: 1.1887 - val_accuracy: 0.9150 - val_auc: 0.9501
roc evaluated with scikit =  0.7811174659489438
Epoch 6/8
4000/4000 [==============================] - 14s 4ms/step - loss: 0.0018 - accuracy: 0.9184 - auc: 0.9529 - val_loss: 1.2036 - val_accuracy: 0.9213 - val_auc: 0.9548
roc evaluated with scikit =  0.7822898825544409
Epoch 7/8
4000/4000 [==============================] - 14s 4ms/step - loss: 0.0017 - accuracy: 0.9238 - auc: 0.9566 - val_loss: 1.2231 - val_accuracy: 0.9258 - val_auc: 0.9579
roc evaluated with scikit =  0.7817036742516923
Epoch 8/8
4000/4000 [==============================] - 14s 4ms/step - loss: 0.0016 - accuracy: 0.9278 - auc: 0.9592 - val_loss: 1.2426 - val_accuracy: 0.9293 - val_auc: 0.9600
roc evaluated with scikit =  0.7817419052279585

Как вы можете видеть, начиная с эпохи 2 и далее валидация ROCs keras и scikit начинает расходиться. То же самое происходит, если я подгоняю модель и затем использую keras 'model.evaluate(X_valid, y_valid). Любая помощь очень ценится.

РЕДАКТИРОВАТЬ: тестируя модель на отдельном наборе тестов, я получаю ro c = 0,76, поэтому кажется, что scikit дает правильный ответ (кстати, X_train имеет 4000 записей, X_valid имеет 1000, а test имеет 15000, довольно нетрадиционное разделение, но оно вызвано внешними факторами).
Кроме того, предложения о том, как улучшить производительность, также приветствуются.

EDIT2: Чтобы ответить на ответ @arpitrathi, я изменил callbak, но, к сожалению, безуспешно : 

class MyCustomCallback(tf.keras.callbacks.Callback):

    def on_epoch_end(self,epoch, logs=None):
        y_pred = model.predict_proba(X_valid)
        print("roc evaluated with scikit = ",roc_auc_score(y_valid, y_pred))
        return

model = model()

history = model.fit(x=X_trainl, y=y_train, batch_size = 8, epochs = 3, verbose=1,validation_data = (X_valid,y_valid), callbacks=[MyCustomCallback()], shuffle=True, validation_freq=1, max_queue_size=10, workers=4, use_multiprocessing=True)


Train on 4000 samples, validate on 1000 samples
Epoch 1/3
4000/4000 [==============================] - 20s 5ms/step - loss: 0.8266 - accuracy: 0.7261 - auc: 0.7409 - val_loss: 0.7547 - val_accuracy: 0.7627 - val_auc: 0.7881
roc evaluated with scikit =  0.7921764130168828
Epoch 2/3
4000/4000 [==============================] - 15s 4ms/step - loss: 0.0482 - accuracy: 0.8270 - auc: 0.8657 - val_loss: 1.0831 - val_accuracy: 0.8620 - val_auc: 0.9054
roc evaluated with scikit =  0.78525915504445
Epoch 3/3
4000/4000 [==============================] - 15s 4ms/step - loss: 0.0092 - accuracy: 0.8794 - auc: 0.9224 - val_loss: 1.2226 - val_accuracy: 0.8928 - val_auc: 0.9340
roc evaluated with scikit =  0.7705555215724655

Кроме того, если я планирую точность обучения и проверки, я вижу, что они оба быстро сходятся к 1. Это странно?

1 Ответ

2 голосов
/ 15 апреля 2020

Проблема заключается в аргументах, которые вы передали функции sklearn для вычисления roc_auc_score(). Вы должны использовать model.predict_proba() вместо model.predict(). 

def on_epoch_end(self,epoch, logs=None):
        y_pred = model.predict_proba(X_valid)
        print("roc evaluated with scikit = ",roc_auc_score(y_valid, y_pred))
        return
...