Как добавить повторяющиеся выпадения в CuDNNGRU или CuDNNLSTM в Keras

Question

Можно применить периодическое выпадение к базовым слоям LSTM или GRU в Keras, передав его значение в качестве параметра слоя.

CuDNNLSTM и CuDNNGRU - это слои LSTM и GRU, совместимые с CUDA.Основным преимуществом является то, что они в 10 раз быстрее во время тренировки.Однако им не хватает некоторой красоты слоев LSTM или GRU в Keras, а именно, возможности передавать значения выпадения или повторяющихся выпадений.

Хотя мы можем добавлять выпадающие слои непосредственно в модель, кажется, мы не можем этого сделатьс повторяющимся выпадением.

Мой вопрос заключается в следующем: Как добавить периодическое выпадение в CuDNNGRU или CuDNNLSTM в Keras?

Answer 1

Я не думаю, что мы можем получить его, поскольку он даже не поддерживается на низком уровне (например, cuDNN). От Франсуа Шоле создатель Keras:

Повторяющиеся выпадения не реализованы в операциях cuDNN RNN.На уровне cuDNN.Поэтому у нас его нет в Keras.

Параметр выпадения в API-интерфейсе cuDNN не является периодическим выпадением (в отличие от того, что есть в Keras), поэтому он в основном бесполезен (регулярное выпадение не работает с RNN).

На самом деле использование такого отсева в составленном RNN приведет к срыву тренировки.