Я попробовал IndyLSTMCell в TensorFlow 1.10. Он работает с активацией по умолчанию (tanh), но не работает с nn_ops.relu. Когда я установил активацию на relu, потеря стала NAN. У IndyGRUCell такая же проблема.
Активация relu работает с IndRNNCell, однако, когда я уложил ее на 4 или 6 слоев, я не увидел какого-либо улучшения емкости модели.
Ячейка была размещена внутри tf.contrib.rnn.MultiRNNCell, чтобы получить несколько слоев, затем tf.nn.dynamic_rnn. Я также попробовал модель seq2seq (модель Google NMT), основанную на новом типе ячеек.
Эксперименты проводились как на версии для графического процессора, так и для версии нового TensorFlow (1.10.0) с Python 3.6.
Буду очень признателен за любые предложения по исправлению / решению этой проблемы. Спасибо.