Модель не учится - керас

Question

Фон

У меня есть довольно простой скрипт, который создает модель keras, предназначенную для работы в качестве шлюза XOR.

Я генерирую 40000 точек данных в функции get_data. Создает два массива; входной массив, содержащий 1 и 0 в некотором порядке, и вывод, который равен 1 или 0.

Выпуск

Когда я запускаю код, он, кажется, не учится, и результаты, которые я получаю, резко меняются каждый раз, когда я его тренирую.

код

from keras import models
from keras import layers

import numpy as np

from random import randint


def get_output(a, b): return 0 if a == b else 1


def get_data ():
    data = []
    targets = []

    for _ in range(40010):
        a, b = randint(0, 1), randint(0, 1)

        targets.append(get_output(a, b))
        data.append([a, b])

    return data, targets


data, targets = get_data()

data = np.array(data).astype("float32")
targets = np.array(targets).astype("float32")

test_x = data[40000:]
test_y = targets[40000:]

train_x = data[:40000]
train_y = targets[:40000]

model = models.Sequential()

# input
model.add(layers.Dense(2, activation='relu', input_shape=(2,)))

# hidden
# model.add(layers.Dropout(0.3, noise_shape=None, seed=None))
model.add(layers.Dense(2, activation='relu'))
# model.add(layers.Dropout(0.2, noise_shape=None, seed=None))
model.add(layers.Dense(2, activation='relu'))

# output
model.add(layers.Dense(1, activation='sigmoid')) # sigmoid puts between 0 and 1

model.summary() # print out summary of model

model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

res = model.fit(train_x, train_y, epochs=2000, batch_size=200, validation_data=(test_x, test_y)) # train

print 'predict: \n', test_x
print model.predict(test_x)

выход

[[0. 1.]
 [1. 1.]
 [1. 1.]
 [0. 0.]
 [1. 0.]
 [0. 0.]
 [0. 0.]
 [0. 1.]
 [1. 1.]
 [1. 0.]]
[[0.6629775 ]
 [0.00603844]
 [0.00603844]
 [0.6629775 ]
 [0.6629775 ]
 [0.6629775 ]
 [0.6629775 ]
 [0.6629775 ]
 [0.00603844]
 [0.6629775 ]]

Редактировать

Даже без выпадающих слоев я получил очень похожие результаты.

Answer 1

Есть несколько вопросов с вашим вопросом.

Для начала, ваш импорт довольно неортодоксален (правда, не имеет отношения к вашей проблеме, но помогает придерживаться некоторых соглашений):

from keras.models import Sequential
from keras.layers import Dense
import numpy as np

Во-вторых, вам не нужно несколько тысяч примеров для проблемы XOR; Есть только четыре комбинации:

X = np.array([[0,0],[0,1],[1,0],[1,1]])
y = np.array([[0],[1],[1],[0]])

и все.

В-третьих, по той же причине у вас не может быть данных «проверки» или «проверки» с XOR; в простейшем подходе (т. е. то, что вы, вероятно, пытаетесь сделать здесь), вы можете только проверить, насколько хорошо модель выучила функцию, используя эти 4 комбинации (поскольку их больше нет!).

В-четвертых, вы должны начать с простой модели с одним скрытым слоем (с более чем 2 единицами и без выпадения), а затем постепенно переходить на при необходимости :

model = Sequential()
model.add(Dense(8, activation="relu", input_dim=2))
model.add(Dense(1, activation="sigmoid"))

model.compile(loss='binary_crossentropy', optimizer='adam')
model.fit(X, y, batch_size=1, epochs=1000)

Это должно снизить ваши потери до ~ 0,12; насколько хорошо он выучил функцию?

model.predict(X)
# result:
array([[0.31054294],
       [0.9702552 ],
       [0.93392825],
       [0.04611744]], dtype=float32)

y
# result:
array([[0],
       [1],
       [1],
       [0]])

Это достаточно хорошо? Ну, я не знаю - правильный ответ всегда "это зависит"! Но теперь у вас есть отправная точка (то есть сеть, которая, вероятно, изучает что-то), из которой вы можете перейти к дальнейшим экспериментам ...