Как добавить больше слоев в следующую архитектуру керас?

Question

Я работаю над моделью keras, используя тензор потока в качестве серверной части:

model = Sequential() 
model.add(Embedding(40, 64, dropout=0.2))
model.add(LSTM(33, dropout_W=0.2, dropout_U=0.2))  
model.summary()
model.add(Dense(2))
model.add(Activation('relu'))
model.compile(loss='binary_crossentropy', optimizer='sgd', metrics=['binary_accuracy'])
print('sumary model')
model.summary() 

На самом деле эта архитектура работает очень хорошо как бинарный классификатор предложений, однако я хотел бы улучшить это, поскольку она немного проста. Я новичок в использовании кераса, поэтому я хотел бы оценить предложения по его модификации. Я хотел бы добавить больше слоев и факторов отсева, чтобы получить лучшие результаты, и основная идея моего поста - получать предложения.

Answer 1

Лучший способ узнать о добавлении слоев в модели Keras - это запустить и изучить различные примеры , представленные в репозитории Keras.

Код модели, которым вы поделились выше, выглядит немного случайным, если честно.Но если у вас есть хорошо работающая модель и вы хотите, чтобы она работала лучше, то, вообще говоря, лучше настроить уже имеющиеся слои, а не добавлять новые.Простое лучше, чем сложное.Не ошибисьВместо того, чтобы добавлять больше сложности с точки зрения структуры сети, попробуйте сделать то, что у вас уже работает, лучше.Вы можете:

• установить активацию вывода на 'sigmoid'
• изменить свой оптимизатор на что-то другое, чем SGD
• попробовать другое количество вставок input_dims
• изменить скорость обучения оптимизатора

Кроме этого, уровень LSTM имеет примерно 20 параметров, посмотрите строку документации, чтобы увидеть, что там есть.

Если вам нужно добавить больше слоев, то вы можете сначала попробовать только плотные слои.Что-то вроде:

model.add(Dense(no_of_neurons))
model.add(Dropout(dropout_rate))

Также я не думаю, что есть какая-либо причина вызывать model.summary () дважды, как вы делаете сейчас.

Я думаю, что ключевой момент заключается в том, чтобы сохранитьтак просто, как вы можете.Керас удивителен таким образом;Вы можете получить отличные результаты с кодом, который выглядит так, как будто это ничего.Если вы серьезно относитесь к изучению Keras, я настоятельно рекомендую прочитать Deep Learning with Python Франсуа, который является парнем, стоящим за Keras.