Ограничить сумму выходов в нейронной сети регрессии (Керас) - PullRequest
Новая
       77

Ограничить сумму выходов в нейронной сети регрессии (Керас)

0 голосов
/ 31 января 2020

Я предсказываю 7 целей, что является отношением от одного значения, поэтому для каждой выборки сумма всех прогнозируемых значений должна быть равна 1. За исключением использования softmax на выходе (что, очевидно, неверно), я просто не могу понять, другие способы ограничить сумму всех прогнозируемых результатов: = 1 ..
Спасибо за любые предложения. 

input_x = Input(shape=(input_size,))
output = Dense(512, activation=PReLU())(input_x)
output = Dropout(0.5)(output)
output = Dense(512, activation=PReLU())(output)
output = Dropout(0.5)(output)
output = Dense(16, activation=PReLU())(output)
output = Dropout(0.3)(output)
outputs = Dense(output_size, activation='softmax')(output)
#outputs = [Dense(1, activation=PReLU())(output) for i in range(output_size)] #multioutput nn

nn = Model(inputs=input_x, outputs=outputs)
es = EarlyStopping(monitor='val_loss',min_delta=0,patience=10,verbose=1, mode='auto')
opt=Adam(lr=0.001, decay=1-0.995)
nn.compile(loss='mean_absolute_error', optimizer=opt)
history = nn.fit(X, Y, validation_data = (X_t, Y_t), epochs=100, verbose=1, callbacks=[es])

Пример целей:

enter image description here

Итак, это все крысы ios из одного объекта, сумма для каждой строки = 1.
Например, объект - «Всего» = 100 баллов, A = 25 баллов, B = 25 баллов все остальные - 10 баллов. Итак, моя 7 целевых крыс ios будет 0,25 / 0,25 / 0,1 / 0,1 / 0,1 / 0,1 / 0,1.

Мне нужно обучить и спрогнозировать такую ​​крысу ios, поэтому в будущем, зная «Всего», мы сможем восстановить очки от предсказанной крысы ios.

1 Ответ

1 голос
/ 06 февраля 2020

Мне кажется, я понимаю вашу мотивацию, а также то, почему «softmax не будет ее сокращать».

Это потому, что softmax не масштабируется линейно, поэтому: 

>>> from scipy.special import softmax
>>> softmax([1, 2, 3, 4])
array([0.0320586 , 0.08714432, 0.23688282, 0.64391426])
>>> softmax([1, 2, 3, 4]) * 10
array([0.32058603, 0.87144319, 2.36882818, 6.4391426 ])

Что выглядит совсем не так, как в исходном массиве.

Не стоит слишком просто отклонять softmax - он может обрабатывать особые ситуации, такие как отрицательные значения, нули, нулевая сумма сигнала предварительной активации ... Но если вы хотите окончательную регрессию чтобы нормализовать его до единицы и ожидать, что результаты будут неотрицательными, вы можете просто разделить его на сумму: 

input_x = Input(shape=(input_size,))
output = Dense(512, activation=PReLU())(input_x)
output = Dropout(0.5)(output)
output = Dense(512, activation=PReLU())(output)
output = Dropout(0.5)(output)
output = Dense(16, activation=PReLU())(output)
output = Dropout(0.3)(output)
outputs = Dense(output_size, activation='relu')(output)
outputs = Lambda(lambda x: x / K.sum(x))(outputs)

nn = Model(inputs=input_x, outputs=outputs)

Слой Dense, конечно, нуждается в активации, отличной от 'softmax' ( Реул или даже линейный в порядке).

...