Как использовать природные алгоритмы, такие как PSO, в качестве оптимизаторов в модели keras?

Question

Я работаю над моделью keras (Иерархическая сеть внимания), чтобы классифицировать текст по различным категориям. В настоящее время я использовал оптимизатор Adam. Я хотел бы использовать вдохновленные природой алгоритмы, такие как PSO, Cuckoo и т. Д. В качестве оптимизаторов.

Соответствующий код выглядит следующим образом:

word_input = Input(shape=(max_senten_len,), dtype='int32')
word = embedding_layer(word_input)
word = SpatialDropout1D(0.2)(word)
word = Bidirectional(LSTM(128, return_sequences=True))(word)
word_out = AttentionWithContext()(word)
wordEncoder = Model(word_input, word_out)

sente_input = Input(shape=(max_senten_num, max_senten_len), dtype='int32')
sente = TimeDistributed(wordEncoder)(sente_input)
sente = SpatialDropout1D(0.2)(sente)
sente = Bidirectional(LSTM(128, return_sequences=True))(sente)
sente = AttentionWithContext()(sente)
preds = Dense(6, activation='sigmoid')(sente)
model = Model(sente_input, preds)
opt = Adam(clipnorm=5.0)

model.compile(loss='binary_crossentropy',
              optimizer=opt,
              metrics=['acc'])

Может кто-нибудь подсказать, как их указать в качестве оптимизаторов / помочь с соответствующим кодом?