У меня есть пара вопросов о слоях LSTM в библиотеке Keras
В слое LSTM у нас есть два вида выпадений: выпадение и повторное выпадение. Согласно моему пониманию, первый случайным образом отбросит некоторые входные данные (установите их на ноль), а второй сделает это на скрытых единицах (особенности h_t). Поскольку у нас есть разные временные шаги в сети LSTM, применяется ли сброс отдельно для каждого временного шага или только один раз, и будет ли он одинаковым для каждого шага?
Мой второй вопрос о регуляризаторах в слое LSTM в кератах. Я знаю, что, например, регуляризатор ядра будет регулировать веса, соответствующие входным данным. но у нас есть разные веса для входов. Например, входной вентиль, обновленный вентиль и выходные вентили используют разные весовые коэффициенты для ввода (также разные весовые коэффициенты для h_ (t-1)). Так будут ли они упорядочены в одно и то же время? Что делать, если я хочу упорядочить только один из них? Например, если я хочу упорядочить только веса, используемые в формуле для входных ворот.
Последний вопрос касается функций активации в кератах. В слое LSTM у меня есть активация и периодические активации. по умолчанию активация является tanh, и я знаю, что в архитектуре LSTM tanh используется два раза (для h_t и кандидата в ячейки памяти), а сигмоидальный - 3 раза (для гейтов). Так значит ли это, что если я изменю tanh (в слое LSTM в keras) на другую функцию, скажем Relu, то она изменится как для h_t, так и для кандидата в ячейки памяти?
Было бы идеально, если бы можно было ответить на любой из этих вопросов. Большое спасибо за ваше время.