Вывести количество активаций в модели Tensorflow

Question

Я пытаюсь подсчитать количество активаций в модели, например, в LeNet. Как я могу посчитать общее количество активаций?

Существует способ подсчета количества обучаемых параметров, однако, кажется, нет возможности для расчета отдельных активаций.

Answer 1

Количество активаций зависит от слоев модели, например:

• Для полностью связанного слоя (плотного) количество активаций равно числу нейронов.
• Для сверточного слоя число активаций равно числу фильтров, умноженному на пространственные размеры выходных карт объектов (которые зависят от заполнения, размера ввода и т. Д.).
• Для рекуррентного слоя это зависит от того, как LSTM / GRU имеют сложную структуру. Для простого RNN это просто число нейронов, умноженное на количество временных шагов.