После изучения работы расширенной свертки из Google Wav eNet с использованием диаграммы на странице 2 (также используемой в их модели DeepVoice) мне кажется, что расширенные свертки на серии входных выборок как и в модели выше, будет такое же количество операций / операций, как и соответствующая коволюция без расширения.
Например, на диаграмме расширение никак не влияет на количество операций, которые будет выполнять каждая расширенная свертка.
Это правильно? Есть ли формула, с помощью которой можно было бы вычислить Flops для слоев расширенных конвульсий на образцах?
Я распечатал модель выше в TF, и один блок расширенных конвульсий = 2 выглядит следующим образом. Какое будет количество флопов при этом?
inference/ResidualConv1DGLU_1/residual_block_causal_conv_ResidualConv1DGLU_1/kernel:0 (float32_ref 3x128x256) [98304, bytes: 393216]
inference/ResidualConv1DGLU_1/residual_block_causal_conv_ResidualConv1DGLU_1/bias:0 (float32_ref 256) [256, bytes: 1024]